摘要:前言 参考 1. GFLOPs、GMACs、FMA之间的关系_touchwolf的博客-CSDN博客; 2. What is the relationship between GMACs and GFLOPs? · Issue #16 · sovrasov/flops-counter.pytorch
阅读全文
摘要:前言 一般用于深度学习比赛中的一种trick。 TTA(test time augmentation) 数据增强通常在训练阶段进行,目前一些文献在测试时进行数据增强,在分割、分类、检测等场景都取得了不错的效果。 测试时增强,指的是在推理(预测)阶段,将原始图片进行水平翻转、垂直翻转、对角线翻转、旋转
阅读全文
摘要:前言 一、名词解释 目前优化神经网络的方法都是基于BP,即根据损失函数计算的误差通过梯度反向传播的方式,指导深度网络权值的更新优化。其中将误差从末层往前传递的过程需要链式法则(Chain Rule)的帮助,因此反向传播算法可以说是梯度下降在链式法则中的应用。 而链式法则是一个连乘的形式,所以当层数越
阅读全文
摘要:参数初始化的理想状态是参数正负各半,期望为0。 正确的初始化方法应该避免指数级地减小或放大输入值的大小,防止梯度“饱和”。 对于权值的初始化,Glorot提出两个准则: 各个层激活值的方差保持不变(正向传播) 各个层的梯度值的方差保持不变(反向传播) 参考 1. 神经网络参数初始化(MSRA、Xav
阅读全文
摘要:前言 最近运行darknet项目,重新划分数据集进行训练,一定迭代次数之后loss数值突然暴增,然后突然变为Nan,之后一直为Nan,与之前训练相比,只有数据集重新划分,其他源码都没有变动。 问题解释 训练过程数据几乎都是nan,查看train log发现迭代到997次时loss突然暴增,之后迭代到
阅读全文
摘要:前言 参考 1. 深度学习中的动量(momentum); 完
阅读全文
摘要:前言 本文主要总结深度学习中激活函数的来龙去脉,理解激活函数的定义,掌握常见激活函数的特性,能够灵活使用激活函数解决实际项目中的问题。 一、激活函数的基本理解 1. 什么是激活函数 所谓激活函数(Activation Function),就是在人工神经网络的神经元上运行的函数,负责将神经元的输入映射
阅读全文
摘要:前言 一、数据增强的作用 1. 避免过拟合; 2. 提升模型鲁棒性,降低模型对图像的敏感度; 3. 增加训练数据,提高模型泛化能力; 4. 避免样本不均衡; 二、数据增强的常用方法 几何变换类(翻转,旋转,裁剪,变形,缩放等)、颜色变化类(噪声、模糊、颜色变换、擦除、填充等); 1. 缩放resiz
阅读全文
摘要:参考 1. pytorch系列 -- 9 pytorch nn.init 中实现的初始化函数 uniform, normal, const, Xavier, He initialization; 完
阅读全文
摘要:1. 常规卷积 2. 分组卷积 2. 深度可分离卷积 Depthwise Convolution + Pointwise Convolution 2.1 Depthwise Convolution 2.2 Pointwise Convolution Depthwise(DW)卷积与Pointwise
阅读全文
摘要:卷积神经网络的参数计算 深度学习模型大小由网络决定,也就是网络结构的参数数量和数据类型决定的; 参考 1. 卷积神经网络的参数计算; 2. 深度学习模型大小由网络决定; 完
阅读全文
摘要:前言 模型部署过程中,不仅要关注模型参数大小,还要关注消耗的内存;因为这些不仅涉及到耗时,还涉及到硬件是否可用; 训练过程中消耗的GPU或者内存,又是由什么决定的呢??? 如何计算模型以及中间变量的显存占用大小 https://oldpan.me/archives/pytorch-gpu-memor
阅读全文
摘要:笔者第一次见到消融实验(Ablation experiment)这个概念是在论文《Faster R-CNN》中。消融实验类似于“控制变量法”。假设在某目标检测系统中,使用了A,B,C,取得了不错的效果,但是这个时候你并不知道这不错的效果是由于A,B,C中哪一个起的作用,于是你保留A,B,移除C进行实
阅读全文
摘要:问题 File "/home/xxx/miniconda3/envs/open_mmlab/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 55, in default_collate return torc
阅读全文
摘要:使用conda安装虚拟环境 首先,需要安装NVIDIA驱动和Conda工具; conda create -n open_mmlab python=3.8 -y conda activate open_mmlab conda install pytorch=1.6.0 torchvision cuda
阅读全文
摘要:参考 1. 超参数自动优化方法PBT; 2. 《Population Based Training of Neural Networks》论文解读; 3. 超参选择利器-引入基于群体的训练; 完
阅读全文
摘要:前言 参考 1. 调参必备 GridSearch网格搜索; 完
阅读全文
摘要:前言 在深度学习中,经常会使用EMA(exponential moving average)方法对模型的参数做平滑或者平均,以求提高测试指标,增加模型鲁棒性。 参考 1. 【优化技巧】指数移动平均(EMA)的原理及PyTorch实现; 2. 理解滑动平均(exponential moving ave
阅读全文
摘要:A. 算法原理类; 1. http://deeplearning.net/tutorial/contents.html 2. UFLDL; B. 工具框架类; 1. keras.io; 2. keras_github;
阅读全文