随笔分类 - Python
摘要：我们进行图片分类，做一些人工智能的项目或者利用Python来对图片进行分类，都可以利用到Exif信息。 什么是Exif？ Exif是一种图像文件格式，实际上Exif格式就是在JPEG格式头部插入了数码照片的信息，包括拍摄时的光圈、快门、白平衡、ISO、焦距、日期时间等各种和拍摄条件以及相机品牌、型号
阅读全文
摘要：lumo 是一个精简高效的库，简化了实验所需的所有组件的管理，并特别关注增强深度学习实践者的体验。 实验管理：: 为每次运行分配唯一路径，区分不同类型的文件并存储；通过 git 管理代码快照；记录实验中产生的一切信息，保障可回溯、可复现 参数管理：基于 fire 提供比 argparser 更便捷的
阅读全文
摘要：PyTorch已经足够简单易用，但是简单易用不等于方便快捷。特别是做大量实验的时候，很多东西都会变得复杂，代码也会变得庞大，这时候就容易出错。针对这个问题，就有了PyTorch Lightning。它可以重构你的PyTorch代码，抽出复杂重复部分，让你专注于核心的构建，让你的实验更快速更便捷地开展
阅读全文
摘要：Kornia 是一款基于 PyTorch 的可微分的计算机视觉库。 它由一组用于解决通用计算机视觉问题的操作模块和可微分模块组成。其核心使用 PyTorch 作为主要后端，以提高效率并利用反向模式自动微分来定义和计算复杂函数的梯度。 概览 受现有开源库的启发，Kornia可以由包含各种可以嵌入神经网
阅读全文
摘要：TensorRT是一个用于高性能深度学习推理的SDK，它可以将已经训练好的网络转换为TensorRT引擎，从而提高推理速度和效率。TensorRT的作用有以下几点¹²： TensorRT可以对网络进行压缩、优化以及运行时部署，并且没有框架的开销。 TensorRT通过合并层、选择最优的卷积核、根据指
阅读全文
摘要：# 导入必要的库 import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, Dataset # 定义超参数 epochs = 10 # 训练轮数 lr
阅读全文
摘要：Copy-on-write（写时复制）是一种资源管理技术，用于实现可修改资源的“复制”或“拷贝”操作。当父进程创建子进程时，这两个进程最初将共享内存中的相同页面，并将这些共享页面标记为写时复制。这意味着如果任何一个进程尝试修改共享页面，则只会创建这些页面的副本，并且该进程将在副本上进行修改，而不会影
阅读全文
摘要：首先fork和spawn都是构建子进程的不同方式，区别在于： fork：除了必要的启动资源外，其他变量，包，数据等都继承自父进程，并且是copy-on-write的，也就是共享了父进程的一些内存页，因此启动较快，但是由于大部分都用的父进程数据，所以是不安全的进程 spawn：从头构建一个子进程，父进
阅读全文
摘要：进程：process 线程：thread Python多进程和多线程哪个快由于GIL的存在，很多人认为Python多进程编程更快，针对多核CPU，理论上来说也是采用多进程更能有效利用资源。但这不是说明多线程就没意义了，还是得根据实际场景来看。 对CPU密集型代码（比如循环计算），多进程效率更高。对I
阅读全文
摘要：python-sys.getsizeof的使用 科班出身的码畜一直被灌输一条上帝圣经：“一个int占4个字节，一个char占1个字节，一个float占4个字节。。。”， 今天看下了python的getsizeof函数，发现python中各个基本数据类型（对象）占用的内存大小和c++/Java完全不一
阅读全文
摘要：如果说到深度学习中训练数据的记录工具，最先想到应该是TensorBoard(或者TensorBoardX）。不过，相比较TensorBoard而言，Wandb更加的强大，主要体现在以下的几个方面： 复现模型：Wandb更有利于复现模型。这是因为Wandb不仅记录指标，还会记录超参数和代码版本。 自动
阅读全文
摘要：cvpods, a versatile and efficient codebase for many computer vision tasks: classification, segmentation, detection, self-supervised learning, keypoint
阅读全文
摘要：pytorch 0.4.1 docker地址： https://hub.docker.com/r/linkoffate/torchen https://hub.docker.com/r/airaria/pytorch0.4.1 直接上干货,CUDA9.0版本对应的pytorch是0.4.1,使用其他
阅读全文
摘要：一、深度学习框架概述与深度学习技术的四大阵营 人工智能从学术理论研究到生产应用的产品化开发过程中通常会涉及到多个不同的步骤和工具，这使得人工智能开发依赖的环境安装、部署、测试以及不断迭代改进准确性和性能调优的工作变得非常繁琐耗时也非常复杂。为了简化、加速和优化这个过程，学界和业界都作了很多的努力，开
阅读全文
摘要：北京大学 流行病与卫生统计学 PhD Candidate Streamlit 是 Python 的一个用于创建 Web App 的框架，类似于 R 的 Shiny。其功能虽不如 R Shiny 强大，更不如专门的 Python Web 框架如 Flask、Djiango 等强大，但其使用非常直观和简
阅读全文
摘要：Pytorch图像预处理时，通常使用transforms.Normalize(mean, std)对图像按通道进行标准化，即减去均值，再除以方差。这样做可以加快模型的收敛速度。其中参数mean和std分别表示图像每个通道的均值和方差序列。 Imagenet数据集的均值和方差为：mean=(0.485
阅读全文
摘要：以下内容都是针对Pytorch 1.0-1.1介绍。很多文章都是从Dataset等对象自下往上进行介绍，但是对于初学者而言，其实这并不好理解，因为有的时候会不自觉地陷入到一些细枝末节中去，而不能把握重点，所以本文将会自上而下地对Pytorch数据读取方法进行介绍。 1|0自上而下理解三者关系 首先我
阅读全文
摘要：Pytroch网络模型：修改参数值，修改参数名，添加参数层，删除参数层 修改参数值 方法1 dict的类型是collecitons.OrderedDict，是一个有序字典，直接将新参数名称和初始值作为键值对插入，然后保存即可。 #修改前 dict = torch.load('./ckpt_dir//
阅读全文
摘要：pytorch 打印模型层的名字的多个方式，以及对应显示，删除最后多个层的两种方式 def forward(self, x, last_cont=None): x = self.model(x) if self.use_dcl: mask = self.Convmask(x) mask = self
阅读全文
摘要：mobilenet 中的通道数为什么要使用 _make_divisible 函数确保为 8 的整数倍？ 问题 今天阅读一段 PyTorch 版的 mobilenet 时，发现了下面这个函数： def _make_divisible(v, divisor, min_value=None): """ T
阅读全文