随笔分类 - 深度学习
摘要：model.eval()和with torch.no_grad()的区别在PyTorch中进行validation时，会使用model.eval()切换到测试模式，在该模式下， 主要用于通知dropout层和batchnorm层在train和val模式间切换在train模式下，dropout网络层会
阅读全文
摘要：作者：忆臻 (哈工大SCIR实验室在读博士生)魏福煊 哈工大英才实验班本科生谢天宝 哈工大英才实验班本科生 一、前言 在我们要用pytorch构建自己的深度学习模型的时候，基本上都是下面这个流程步骤，写在这里让一些新手童鞋学习的时候有一个大局感觉，无论是从自己写，还是阅读他人代码，按照这个步骤思想（
阅读全文
摘要：NNI (Neural Network Intelligence) 是一个轻量但强大的工具包，帮助用户自动的进行 特征工程，神经网络架构搜索， 超参调优以及模型压缩。 NNI 管理自动机器学习 (AutoML) 的 Experiment， 调度运行 由调优算法生成的 Trial 任务来找到最好的神经
阅读全文
摘要：Pytorch：模型的保存与加载 torch.save()、torch.load()、torch.nn.Module.load_state_dict() Pytorch 保存和加载模型后缀：.pt 和.pth 1 torch.save() [source]保存一个序列化（serialized）的目标
阅读全文
摘要：背景知识 在说 torch.backends.cudnn.benchmark 之前，我们首先简单介绍一下 cuDNN。cuDNN 是英伟达专门为深度神经网络所开发出来的 GPU 加速库，针对卷积、池化等等常见操作做了非常多的底层优化，比一般的 GPU 程序要快很多。大多数主流深度学习框架都支持 cu
阅读全文
摘要：如何实现高速卷积？深度学习库使用了这些「黑魔法」 使用深度学习库可以大幅加速CNN模型运行，那么这些库中的哪些具体的做法实现了这种高速度和高性能呢？佐治亚理工学院计算机科学硕士研究生Manas Sahni在自己的电脑上试验了多种方法的策略，深入剖析高速卷积的实现过程。 我的笔记本电脑CPU还可以，在
阅读全文
摘要：戴思达 YOLOv1 使用来自整张图像的特征来预测每个bounding box 将整张图分成S*S的网格，如果一个物体的中心落在某个网格中，就用该网格检测这个物体。 每个网格预测B个bounding box，以及对应的置信度。 置信度的含义： 模型确定这个box包含有物体的程度 模型认为box属于预
阅读全文
摘要：YOLO9000 VOC数据集可以检测20种对象，但实际上对象的种类非常多，只是缺少相应的用于对象检测的训练样本。YOLO2尝试利用ImageNet非常大量的分类样本，联合COCO的对象检测数据集一起训练，使得YOLO2即使没有学过很多对象的检测样本，也能检测出这些对象。 基本的思路是，如果是检测样
阅读全文
摘要：在使用pytorch的时候利用下面的语句指定GPU为仅为"6"，但是用nvidia-smi查看GPU使用时，仍默认为"0"号 import pytorchimport osos.environ['CUDA_VISIBLE_DEVICES'] = '6'解决方案：将上述语句放到当前这个python文件
阅读全文
摘要：卷积神经网络为什么具有平移不变性？ 在我们读计算机视觉的相关论文时，经常会看到平移不变性这个词，本文将介绍卷积神经网络中的平移不变性是什么，以及为什么具有平移不变性。 什么是平移不变性 不变性 不变性意味着即使目标的外观发生了某种变化，但是你依然可以把它识别出来。这对图像分类来说是一种很好的特性，因
阅读全文
摘要：来自这篇论文：<Learning Spatial Fusion for Single-Shot Object Detection> 论文地址:https://arxiv.org/pdf/1911.09516v1.pdf 代码地址:https://github.com/ruinmessi/ASFF 捕
阅读全文
摘要：检测算法实际同时作检测（坐标回归）和判别（分类），并且从直觉上讲，后者依赖于前者。而YOLO v3是个多任务，同时完成这2项任务。这与我以前常见的任务不一样，是个很好的学习案例。而在学习YOLOv3之前以及过程中，先后产生了许许多多的疑问。例如： 多个cell，多个anchor，在训练时哪个与gro
阅读全文
摘要：前言yolov5提供了一种超参数优化的方法–Hyperparameter Evolution，即超参数进化。超参数进化是一种利用 遗传算法(GA) 进行超参数优化的方法，我们可以通过该方法选择更加合适自己的超参数。 提供的默认参数也是通过在COCO数据集上使用超参数进化得来的。由于超参数进化会耗费大
阅读全文
摘要：如何设置PyTorch的动态学习率 本文主要涉及内容：Optimizer、_LRScheduler等源码分析。本文依旧基于PyTorch 1.1.0。 Optimizer PyTorch提供了torch.optim.lr_scheduler来帮助用户改变学习率，下边将从Optimizer入手，看一下
阅读全文
摘要：darknet的cfg文件中有一个配置参数: burn_in burn_in=1000这个参数在caffe中是没有的，一旦设置了这个参数，当update_num小于burn_in时，不是使用配置的学习速率更新策略，而是按照下面的公式更新 lr = base_lr * power(batch_num/
阅读全文
摘要：dataloader本质上是一个可迭代对象，使用iter()访问，不能使用next()访问； 使用iter(dataloader)返回的是一个迭代器，然后可以使用next访问； 也可以使用for inputs,labels in enumerate(dataloader)形式访问，但是enumera
阅读全文
摘要：【炼丹技巧】 在深度学习中，经常会使用EMA（指数移动平均）这个方法对模型的参数做平均，以求提高测试指标并增加模型鲁棒。 今天瓦砾准备介绍一下EMA以及它的Pytorch实现代码。 EMA的定义 指数移动平均（Exponential Moving Average）也叫权重移动平均（Weighted
阅读全文
摘要：前言 基本的神经网络的知识（一般化模型、前向计算、反向传播及其本质、激活函数等）小夕已经介绍完毕，本文先讲一下深度前馈网络的BP过程，再基于此来重点讲解在前馈网络中用来初始化model参数的Xavier方法的原理。 前向 前向过程很简单，每一层与下一层的连接边(即参数)构成了一个矩阵(即线性映射)，
阅读全文
摘要：torch.optim torch.optim是一个实现了各种优化算法的库。大部分常用的方法得到支持，并且接口具备足够的通用性，使得未来能够集成更加复杂的方法。 如何使用optimizer 为了使用torch.optim，你需要构建一个optimizer对象。这个对象能够保持当前参数状态并基于计算得
阅读全文
摘要：比Momentum更快：揭开NAG的真面目 作为一个调参狗，每天用着深度学习框架提供的各种优化算法如Momentum、AdaDelta、Adam等，却对其中的原理不甚清楚，这样和一条咸鱼有什么分别！（误）但是我又懒得花太多时间去看每个优化算法的原始论文，幸运的是，网上的大神早就已经帮人总结好了：《A
阅读全文