随笔分类 - pytorch
pytorch学习资料
摘要：pytorch: cpp_extension 作者：elfin 资料来源：C++扩展接口 项目地址：https://github.com/firstelfin/torch_extension 深度学习中，我们常使用pytorch的python接口实现一些非官方实现的逻辑，我们可能会拼接一些官方的
阅读全文
摘要：损失出现NaN可能有三种情况： 计算过程中出现除数为0的情况，这种情况可以进行平滑处理，如果是计算书写错误就相应更改即可； 计算过程中带入空数据，如一个空张量，后续计算会出现NaN，而且这时梯度可能会正常更新，直到多次累积后出现爆炸的情况； 数值精度溢出，如fp16精度不够表示的数值，溢出后就表示为
阅读全文
摘要：1 torch.cuda.amp混合精度训练 混合精度训练提供了自适应的float32(单精度)与float16(半精度)数据适配，我们必须同时使用 torch.autocast and torch.cuda.amp.GradScaler 才能起到作用。然而，torch.autocast和Gra
阅读全文
摘要：torch.nn 标准化归一化层 作者：elfin 参考资料来源：torch.nn.BatchNorm BN是所有样本关于某个信道的标准化 LN是关于某个样本的所有特征标准化 IN是关于某个样本在某个信道上标准化 GN是某个样本关于信道分组的标准化 Top Bottom 一、BatchNorm1d
阅读全文
摘要：torch.nn 剩余容器 作者：elfin 参考资料来源：torch.nn Top Bottom 一、Sequential 一个序列容器。模块将按照它们在构造函数中传递的顺序添加到其中。或者传入OrderedDict模块(value是子模块)。该容器的forward()方法接受任何输入并将其转
阅读全文
摘要：torch.nn 参数Parameter与Module容器 作者：elfin 参考资料来源：torch.nn torch.nn是构建计算图的基础模块，model.train()、model.val()分别为模型的训练、评估模式。 一、Parameter nn.parameter.Parameter(
阅读全文
摘要：DataParallel & DistributedDataParallel分布式训练 参考博客 《DataParallel & DistributedDataParallel分布式训练》: 细节参考博客(推荐) ###DDP # 引入包 import argparse import torch.d
阅读全文
摘要：Unfold+fold 作者：elfin 参考资料来源：pytorch官网 Top Bottom 1、nn.Unfold nn.Unfold是pytorch实现的一个layer，那么这个layer是干嘛的呢？ torch.nn.Unfold(kernel_size: Union[T, Tuple[T
阅读全文
摘要：torch.nn.init 作者：elfin Top Bottom 初始化在深度学习模型训练中占有非常重要的位置，好的初始化可以对模型性能有不小的提升。下面将介绍pytorch的一些初始化方法。 Top Bottom 1、calculate_gain torch.nn.init.calculat
阅读全文
摘要：Swin Transformer 作者：elfin Top Bottom 1、Batch Normalization 使用BN时，我们只需要使用torch.nn.BatchNorm2d()指定通道数即可。它会在每个通道上分别求均值和方差在进行标准化。 1.1 数据准备 import torch Ba
阅读全文
摘要：DropPath 解析 作者：elfin Top Bottom DropPath是将深度学习模型中的多分支结构随机”删除“ https://github.com/yueatsprograms/Stochastic_Depth 1、DropPath实现 def drop_path(x, drop_pr
阅读全文
摘要：LSTM::只需研究一次 作者：elfin 资料来源：torch.nn.LSTM Top Bottom 1、简述RNN 在传统的统计学中，有一门专门介绍时间序列的课程。其主要研究事件的发生与时间(可以是广义的)有较强的关联，这时传统机器学习算法并不能很好地解决这种带有时序的数据预测、特征挖掘。随
阅读全文
摘要：Pytoch--学习率 作者：elfin 资料来源：官网pytorch1.6.0 各种学习率曲线可视化参考：python黑洞网 Top Bottom 1、LambdaLR自定义学习率 torch.optim.lr_scheduler.LambdaLR 参数： optimizer（Optimizer）
阅读全文
摘要：torch的DataLoader 作者：elfin 资料来源：pytorch1.6官网 1、DataLoader简介 torch.utils.data.DataLoader 类是PyTorch数据加载实用程序的核心。它表示可在数据集上的Python迭代器，并支持 映射风格、迭代风格的数据集； 自
阅读全文
