随笔分类 - pytorch代码实用教程
*pytorch*, *coding*
摘要：在按照官方的安装教程进行mmdetection安装的时候，出现了一些问题。我的环境信息如下： 最后报错信息如下： 从MMCV Compiler这儿来看，可以看见MMCV CUDA Compiler： not available。 原因是，我使用的mmcv-full的脚本是： pip install
阅读全文
摘要：FP16 稍微介绍一下，FP16，FP32，BF16。 FP32是单精度浮点数，8 bit表示指数，23bit表示小数。FP16采用5bit表示指数，10bit表示小数。BF采用8bit表示整数，7bit表示小数。所以总结就是，BF16的整数范围等于FP32，但是精度差。FP16的表示范围和精度都低
阅读全文
摘要：什么是torch的sublinear技巧 陈天奇的Training Deep Nets with Sublinear Memory Cost告诉我们，训练deep nets的时候，memory的最大的开销来自于储存用于backward的activation。这个很好理解，前向的时候，每一层的acti
阅读全文
摘要：Torch的Dataloader类 import torch import torch.multiprocessing as multiprocessing from . import SequentialSampler, RandomSampler, BatchSampler from . imp
阅读全文
摘要：pytorch中的nn.Module.register_buffer及DDP模块的一些小知识 作用：给一个nn的Module添加一个buffer，而且不会被认为是一个model的parameter。BN的running_mean就是一个buffer。这个buffer会被para一起，存储到模型里面(
阅读全文
摘要：深度学习框架中的分布式通信算子和并行训练 (1)首先要了解有哪些并行的种类。 (a)数据并行 (b)层内模型并行，这里有Fully Connected模型并行，Group Convolution并行等等。 (c)层间模型并行，这里包括一些流水线并行，，手动checkpoint和GPipe的知识。 (
阅读全文
摘要：手写一个卷积操作 主要目的在于熟悉torch中的indexing操作。 首先，要介绍torch中的unfold操作。首先这个函数的输入必须是一个4-dimensional的tensor。还要设置 一些常用的参数，例如kernel_size， stride等等。然后就会被resize成为一个(B, C
阅读全文
