随笔分类 - 深度学习
摘要：论文地址： MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applicationsarxiv.org MobileNet的核心就是Depthwise separable convolution（深度可分离
阅读全文
摘要：PyTorch 两大转置函数 transpose() 和 permute(), 以及RuntimeError: invalid argument 2: view size is not compati 关心差别的可以直接看[3.不同点]和[4.连续性问题]前言在pytorch中转置用的函数就只有这两
阅读全文
摘要：学习率衰减是一个非常有效的炼丹技巧之一，在神经网络的训练过程中，当accuracy出现震荡或loss不再下降时，进行适当的学习率衰减是一个行之有效的手段，很多时候能明显提高accuracy。 Pytorch中有两种学习率调整(衰减)方法： 使用库函数进行调整； 手动调整。 1. 使用库函数进行调整：
阅读全文
摘要：相对熵（relative entropy）就是KL散度（Kullback–Leibler divergence），用于衡量两个概率分布之间的差异。 一句话总结的话：KL散度可以被用于计算代价，而在特定情况下最小化KL散度等价于最小化交叉熵。而交叉熵的运算更简单，所以用交叉熵来当做代价。 如何衡量两个
阅读全文
摘要：原文： https://pytorch.org/tutorials/advanced/super_resolution_with_onnxruntime.html 注意 单击此处的下载完整的示例代码 在本教程中，我们描述了如何将 PyTorch 中定义的模型转换为 ONNX 格式，然后在 ONNX
阅读全文
摘要：Numpy: Boolean Indexing import numpy as np A = np.array([4, 7, 3, 4, 2, 8]) print(A == 4) [ True False False True False False] Every element of the Ar
阅读全文
摘要：0.摘要 最近一段时间在学习yolo3，看了很多博客，理解了一些理论知识，但是学起来还是有些吃力，之后看了源码，才有了更进一步的理解。在这里，我不在赘述网络方面的代码，网络方面的代码比较容易理解，下面将给出整个yolo3代码的详解解析，整个源码中函数的作用以及调用关系见下图： 参考：https://
阅读全文
摘要：本文主要介绍PyTorch框架下的可视化工具Tensorboard的使用 面向第一次接触可视化工具的新手<其实是备忘> 之前用了几天visdom，用起来很方便，但是画的图显得很乱，所以花了一晚上把代码里的visdom都改成了tensorboard。 Tensorboard 安装 原本是tensorf
阅读全文
摘要：model.train() tells your model that you are training the model. So effectively layers like dropout, batchnorm etc. which behave different on the train
阅读全文
摘要：Pytorch 为什么每一轮batch需要设置optimizer.zero_grad 根据pytorch中的backward()函数的计算，当网络参量进行反馈时，梯度是被积累的而不是被替换掉；但是在每一个batch时毫无疑问并不需要将两个batch的梯度混合起来累积，因此这里就需要每个batch设置
阅读全文
摘要：Pytorch torchvision.utils.make_grid()用法 make_grid的作用是将若干幅图像拼成一幅图像。其中padding的作用就是子图像与子图像之间的pad有多宽。 这是padding为0的结果 这是padding为2的结果 在需要展示一批数据时很有用。————————
阅读全文
摘要：使用pytorch的小伙伴们，一定看过下面这段代码 _, predicted = torch.max(outputs.data, 1) 那么，这里的 下划线_ 表示什么意思？ 首先，torch.max()这个函数返回的是两个值，第一个值是具体的value（我们用下划线_表示），第二个值是value所
阅读全文
摘要：N: batch; C: channel H: height W: width Caffe 的Blob通道顺序是：NCHW; Tensorflow的tensor通道顺序：默认是NHWC， 也支持NCHW，使用cuDNN会更快; Pytorch中tensor的通道顺序：NCHW TensorRT中的t
阅读全文
摘要：1. run_predict.py import torch, torchvision import detectron2 from detectron2.utils.logger import setup_logger setup_logger import numpy as np import
阅读全文
摘要：理论板块将从以下四个方面对Batch Normalization进行详解： 提出背景 BN算法思想 测试阶段如何使用BN BN的优势 理论部分主要参考2015年Google的Sergey Ioffe与Christian Szegedy的论文内容，并辅以吴恩达Coursera课程与其它博主的资料。所有
阅读全文
摘要：SIGAI特约作者 尹相楠 里昂中央理工 在读博士 提到 hook，我首先想起的是动画《小飞侠》里滑稽的 captain hook，满满童年的回忆促使我 P 了张题图：虎克船长勾着 PyTorch 的 logo。同时想起的还有大名鼎鼎的胡克定律：Hooke's law（虽然不是一个 hook），当年
阅读全文
摘要：Partially execute a model: Sometimes you may want to obtain an intermediate tensor inside a model, such as the input of certain layer, the output befo
阅读全文
摘要：作者：张皓，南京大学，编辑：机器学习实验室 众所周知，程序猿在写代码时通常会在网上搜索大量资料，其中大部分是代码段。然而，这项工作常常令人心累身疲，耗费大量时间。所以，今天小编转载了知乎上的一篇文章，介绍了一些常用PyTorch代码段，希望能够为奋战在电脑桌前的众多程序猿们提供帮助！ 本文代码基于
阅读全文
摘要：在神经网络中，通常需要随机初始化模型参数。下面我们来解释这样做的原因。 回顾多层感知机。为了方便解释，假设输出层只保留一个输出单元 且隐藏层使用相同的激活函数。如果将每个隐藏单元的参数都初始化为相等的值，那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值，并传递至输出层。在反向传播中，每个隐
阅读全文
摘要：一文看尽12种Dropout及其变体 本文转载自：AI公园 作者：Axel Thevenot 编译：ronghuaiyang 导读 深入了解DNNs，CNNs以及RNNs中的Dropout来进行正则化，蒙特卡洛不确定性和模型压缩的方法。 动机 在深度机器学习中训练一个模型的主要挑战之一是协同适应。这
阅读全文