随笔分类 - 深度学习-杂记
摘要：平均池化（avgpooling）可以保留背景信息。在feature map上以窗口的形式进行滑动（类似卷积的窗口滑动），操作为取窗口内的平均值作为结果，经过操作后， feature map降采样，减少了过拟合现象。前向传播就是把一个patch中的值求取平均来做pooling，那么反向传播的过程也就是
阅读全文
摘要：pip install pycocotools 出现如下bug，则： File "/...../lib/python3.6/site-packages/pycocotools/coco.py", line 308, in loadRes if type(resFile) == str or type
阅读全文
摘要：1、RuntimeError: invalid argument 0: Sizes of tensors must match except in dimension 0. Got 342 and 281 in dimension 3 at /pytorch/aten/src/TH/generic/
阅读全文
摘要：前提： 模型参数和结构是分别保存的 1、 构建模型(# load model graph) model = MODEL() 2、加载模型参数(# load model state_dict) model.load_state_dict ( { k.replace('module.',''):v fo
阅读全文
摘要：卷积层： 参数：W：宽； H：高； D：深度； K：卷积核的个数； F：卷积核的大小； S：步长； P：用0填充 卷积后输出：W或H=[(输入大小-卷积核大小+2*P）/步长] +1. 不能整除时，一般去掉小数部分取整，如4.5，则取4 上图中的 output =[（7-3）+2*1]/1 +1 =
阅读全文
摘要：卷积神经网络中 channels 分为三种： (1):最初输入的图片样本的 channels ，取决于图片类型，比如RGB, channels=3 (2):卷积操作完成后输出的 out_channels ，取决于卷积核的数量。此时的 out_channels 也会作为下一次卷积时的卷积核的 in_c
阅读全文
摘要：多GPU的处理机制：使用多GPU时，pytorch的处理逻辑是：1.在各个GPU上初始化模型。2.前向传播时，把batch分配到各个GPU上进行计算。3.得到的输出在主GPU上进行汇总，计算loss并反向传播，更新主GPU上的权值。4.把主GPU上的模型复制到其它GPU上。
阅读全文
摘要：设置这个 flag 可以让内置的 cuDNN 的 auto-tuner 自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题。 应该遵循以下准则： 如果网络的输入数据维度或类型上变化不大，设置 torch.backends.cudnn.benchmark = true 可以增加运行效率； 如果
阅读全文
摘要：如果加载的预训练模型之前使用了torch.nn.DataParallel()，而此时的训练并没有使用，则会出现这样的错误。解决方案有两个：1：此时的训练加入torch.nn.DataParallel()即可。2：创建一个没有module.的新字典，即将原来字典中module.删除掉。解决方案1：mo
阅读全文
摘要：pytorch cpu与gpu load时相互转化 torch.load(map_location=)学习 将gpu改为cpu时，遇到一个报错：RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda
阅读全文
摘要：forward方法的具体流程： 以一个Module为例：1. 调用module的call方法2. module的call里面调用module的forward方法3. forward里面如果碰到Module的子类，回到第1步，如果碰到的是Function的子类，继续往下4. 调用Function的ca
阅读全文
摘要：选取微调形式的两个重要因素：新数据集的大小（size）和相似性（与预训练的数据集相比）。牢记卷积网络在提取特征时，前面的层所提取的更具一般性，后面的层更加具体，更倾向于原始的数据集（more original-dataset-specific）。四个基本原则： 1、新数据集小而且相似时，不建议进行微
阅读全文
摘要：1、 train loss 不断下降，test loss不断下降：说明网络仍在学习; train loss 不断下降，test loss趋于不变：说明网络过拟合; train loss 趋于不变，test loss不断下降：说明数据集100%有问题; train loss 趋于不变，test los
阅读全文
摘要：转载自：https://blog.csdn.net/qq_19533461/article/details/80960792 一般在保存模型参数的时候，都会保存一份moving average，是取了不同迭代次数模型的移动平均，移动平均后的模型往往在性能上会比最后一次迭代保存的模型要好一些。 ten
阅读全文
摘要：导入数据 借助 tf.data API，您可以根据简单的可重用片段构建复杂的输入管道。例如，图片模型的管道可能会汇聚分布式文件系统中的文件中的数据、对每个图片应用随机扰动，并将随机选择的图片合并成用于训练的批次。文本模型的管道可能包括从原始文本数据中提取符号、根据对照表将其转换为嵌入标识符，以及将不
阅读全文
摘要：本文转载自：https://www.cnblogs.com/lyc-seu/p/8647792.html Tensorflow Summary用法 tensorboard 作为一款可视化神器，是学习tensorflow时模型训练以及参数可视化的法宝。而在训练过程中，主要用到了tf.summary()
阅读全文
摘要：微调的具体方法和技巧有很多种，这里总结了在不同场景下的微调技巧： 1)新数据集比较小且和原数据集相似。因为新数据集比较小（比如<5000），如果fine-tune可能会过拟合；又因为新旧数据集类似，我们期望他们高层特征类似，可以使用预训练网络当做特征提取器，用提取的特征训练线性分类器。 2)新数据集
阅读全文
摘要：每2秒监测一次：watch -n 2 nvidia-smi
阅读全文
摘要：人脸识别作为一项互联网领域热门的技术，在互联网产品很多领域都有着广泛的应用。下面将对人脸识别的三种技术及提供的产品服务进行讲解分析。 1、人脸检测 场景1：人脸属性识别 人脸属性识别指的是对于识别出来的人脸图像区域再进行分析处理，得到图片中人脸的一系列属性如性别、年龄、表情、人种等等。产品应用主要在
阅读全文
摘要：文章转载自：https://blog.csdn.net/sgfmby1994/article/details/68489944 光流是图像亮度的运动信息描述，这种运动模式指的是由一个观察者（比如摄像头），在一个视角下，一个物体、表面、边缘和背景之间形成的明显移动。评估两幅图像的变形。 光流计算基于物体移动的光学特性提出了2个假设： （1）运动物体在很短的时间内灰度保持不变 （2）给定邻域内速...
阅读全文
