随笔分类 -  DeepLearning

【DL基础】理解GFLOPs、GMACs、FMA之间的关系
摘要:前言 参考 1. GFLOPs、GMACs、FMA之间的关系_touchwolf的博客-CSDN博客; 2. What is the relationship between GMACs and GFLOPs? · Issue #16 · sovrasov/flops-counter.pytorch 阅读全文

posted @ 2023-09-28 13:40 鹅要长大 阅读(224) 评论(0) 推荐(0) 编辑

【DL基础】TTA测试时增强
摘要:前言 一般用于深度学习比赛中的一种trick。 TTA(test time augmentation) 数据增强通常在训练阶段进行,目前一些文献在测试时进行数据增强,在分割、分类、检测等场景都取得了不错的效果。 测试时增强,指的是在推理(预测)阶段,将原始图片进行水平翻转、垂直翻转、对角线翻转、旋转 阅读全文

posted @ 2022-08-17 19:10 鹅要长大 阅读(583) 评论(0) 推荐(0) 编辑

【DL基础】梯度爆炸和梯度消失的理解
摘要:前言 一、名词解释 目前优化神经网络的方法都是基于BP,即根据损失函数计算的误差通过梯度反向传播的方式,指导深度网络权值的更新优化。其中将误差从末层往前传递的过程需要链式法则(Chain Rule)的帮助,因此反向传播算法可以说是梯度下降在链式法则中的应用。 而链式法则是一个连乘的形式,所以当层数越 阅读全文

posted @ 2022-08-10 10:33 鹅要长大 阅读(634) 评论(0) 推荐(0) 编辑

【DL基础】DL权重参数初始化方法总结
摘要:参数初始化的理想状态是参数正负各半,期望为0。 正确的初始化方法应该避免指数级地减小或放大输入值的大小,防止梯度“饱和”。 对于权值的初始化,Glorot提出两个准则: 各个层激活值的方差保持不变(正向传播) 各个层的梯度值的方差保持不变(反向传播) 参考 1. 神经网络参数初始化(MSRA、Xav 阅读全文

posted @ 2022-08-08 18:41 鹅要长大 阅读(113) 评论(0) 推荐(0) 编辑

【DL基础】训练DL网络loss出现Nan的原因分析
摘要:前言 最近运行darknet项目,重新划分数据集进行训练,一定迭代次数之后loss数值突然暴增,然后突然变为Nan,之后一直为Nan,与之前训练相比,只有数据集重新划分,其他源码都没有变动。 问题解释 训练过程数据几乎都是nan,查看train log发现迭代到997次时loss突然暴增,之后迭代到 阅读全文

posted @ 2022-08-08 18:40 鹅要长大 阅读(806) 评论(0) 推荐(0) 编辑

【DL基础】理解深度学习中的动量(momentum)
摘要:前言 参考 1. 深度学习中的动量(momentum); 完 阅读全文

posted @ 2022-08-08 18:39 鹅要长大 阅读(278) 评论(0) 推荐(0) 编辑

【DL基础】损失函数总结
摘要:参考 1. 完 阅读全文

posted @ 2022-07-07 18:30 鹅要长大 阅读(19) 评论(0) 推荐(0) 编辑

【DL基础】激活函数总结
摘要:前言 本文主要总结深度学习中激活函数的来龙去脉,理解激活函数的定义,掌握常见激活函数的特性,能够灵活使用激活函数解决实际项目中的问题。 一、激活函数的基本理解 1. 什么是激活函数 所谓激活函数(Activation Function),就是在人工神经网络的神经元上运行的函数,负责将神经元的输入映射 阅读全文

posted @ 2022-07-07 18:22 鹅要长大 阅读(199) 评论(0) 推荐(0) 编辑

【DL基础】数据增强方法总结
摘要:前言 一、数据增强的作用 1. 避免过拟合; 2. 提升模型鲁棒性,降低模型对图像的敏感度; 3. 增加训练数据,提高模型泛化能力; 4. 避免样本不均衡; 二、数据增强的常用方法 几何变换类(翻转,旋转,裁剪,变形,缩放等)、颜色变化类(噪声、模糊、颜色变换、擦除、填充等); 1. 缩放resiz 阅读全文

posted @ 2022-07-07 18:21 鹅要长大 阅读(491) 评论(0) 推荐(0) 编辑

【pytorch基础】pytorch的初始化
摘要:参考 1. pytorch系列 -- 9 pytorch nn.init 中实现的初始化函数 uniform, normal, const, Xavier, He initialization; 完 阅读全文

posted @ 2021-12-11 20:20 鹅要长大 阅读(93) 评论(0) 推荐(0) 编辑

【DL基础】深度可分离卷积
摘要:1. 常规卷积 2. 分组卷积 2. 深度可分离卷积 Depthwise Convolution + Pointwise Convolution 2.1 Depthwise Convolution 2.2 Pointwise Convolution Depthwise(DW)卷积与Pointwise 阅读全文

posted @ 2021-12-11 19:35 鹅要长大 阅读(287) 评论(0) 推荐(0) 编辑

【DL基础】网络结构参数数量及大小的计算
摘要:卷积神经网络的参数计算 深度学习模型大小由网络决定,也就是网络结构的参数数量和数据类型决定的; 参考 1. 卷积神经网络的参数计算; 2. 深度学习模型大小由网络决定; 完 阅读全文

posted @ 2021-11-02 18:05 鹅要长大 阅读(282) 评论(0) 推荐(0) 编辑

【DL基础】模型训练测试过程消耗内存的计算
摘要:前言 模型部署过程中,不仅要关注模型参数大小,还要关注消耗的内存;因为这些不仅涉及到耗时,还涉及到硬件是否可用; 训练过程中消耗的GPU或者内存,又是由什么决定的呢??? 如何计算模型以及中间变量的显存占用大小 https://oldpan.me/archives/pytorch-gpu-memor 阅读全文

posted @ 2021-11-02 15:44 鹅要长大 阅读(604) 评论(0) 推荐(0) 编辑

【DL基础】什么是消融实验(Ablation experiment)?
摘要:笔者第一次见到消融实验(Ablation experiment)这个概念是在论文《Faster R-CNN》中。消融实验类似于“控制变量法”。假设在某目标检测系统中,使用了A,B,C,取得了不错的效果,但是这个时候你并不知道这不错的效果是由于A,B,C中哪一个起的作用,于是你保留A,B,移除C进行实 阅读全文

posted @ 2021-10-29 09:23 鹅要长大 阅读(747) 评论(0) 推荐(0) 编辑

【pytorch基础-error】RuntimeError: stack expects each tensor to be equal size
摘要:问题 File "/home/xxx/miniconda3/envs/open_mmlab/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 55, in default_collate return torc 阅读全文

posted @ 2021-07-08 09:06 鹅要长大 阅读(11117) 评论(0) 推荐(0) 编辑

【软硬件环境安装】openMMLab的软件环境搭建
摘要:使用conda安装虚拟环境 首先,需要安装NVIDIA驱动和Conda工具; conda create -n open_mmlab python=3.8 -y conda activate open_mmlab conda install pytorch=1.6.0 torchvision cuda 阅读全文

posted @ 2021-07-07 19:12 鹅要长大 阅读(472) 评论(0) 推荐(0) 编辑

超参数自动优化方法PBT
摘要:参考 1. 超参数自动优化方法PBT; 2. 《Population Based Training of Neural Networks》论文解读; 3. 超参选择利器-引入基于群体的训练; 完 阅读全文

posted @ 2019-12-30 12:28 鹅要长大 阅读(409) 评论(0) 推荐(0) 编辑

【DL基础】GridSearch网格搜索
摘要:前言 参考 1. 调参必备 GridSearch网格搜索; 完 阅读全文

posted @ 2019-12-17 18:29 鹅要长大 阅读(252) 评论(0) 推荐(0) 编辑

【优化技巧】指数移动平均EMA的原理
摘要:前言 在深度学习中,经常会使用EMA(exponential moving average)方法对模型的参数做平滑或者平均,以求提高测试指标,增加模型鲁棒性。 参考 1. 【优化技巧】指数移动平均(EMA)的原理及PyTorch实现; 2. 理解滑动平均(exponential moving ave 阅读全文

posted @ 2019-11-04 18:10 鹅要长大 阅读(2302) 评论(0) 推荐(1) 编辑

【深度学习】深度学习相关网站
摘要:A. 算法原理类; 1. http://deeplearning.net/tutorial/contents.html 2. UFLDL; B. 工具框架类; 1. keras.io; 2. keras_github; 阅读全文

posted @ 2019-09-11 15:52 鹅要长大 阅读(360) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

统计

点击右上角即可分享
微信分享提示