随笔分类 - Python
摘要：【炼丹技巧】 在深度学习中，经常会使用EMA（指数移动平均）这个方法对模型的参数做平均，以求提高测试指标并增加模型鲁棒。 今天瓦砾准备介绍一下EMA以及它的Pytorch实现代码。 EMA的定义 指数移动平均（Exponential Moving Average）也叫权重移动平均（Weighted
阅读全文
摘要：if h > w: new_h, new_w = self.output_size * h / w, self.output_size else: new_h, new_w = self.output_size, self.output_size * w / h
阅读全文
摘要：The last_epoch parameter is used when resuming training and you want to start the scheduler where it left off earlier. Its value is increased every ti
阅读全文
摘要：torch.optim torch.optim是一个实现了各种优化算法的库。大部分常用的方法得到支持，并且接口具备足够的通用性，使得未来能够集成更加复杂的方法。 如何使用optimizer 为了使用torch.optim，你需要构建一个optimizer对象。这个对象能够保持当前参数状态并基于计算得
阅读全文
摘要：__init__.py的主要作用是： 1. Python中package的标识，不能删除 2. 定义__all__用来模糊导入 3. 编写Python代码(不建议在__init__中写python模块，可以在包中在创建另外的模块来写，尽量保证__init__.py简单） __init__.py 文件
阅读全文
摘要：一、 在利用python处理数据的时候，经常会用到numpy API: np.random.seed() 与 np.random.RandomState() 但这两个函数的用法，一直不太好理解。在网上查找了许多文章，研究了下他们的异同。做个记录。 1,np.random.seed() 设置seed(
阅读全文
摘要：上图也是某种意义上的梯度累加：一般是直接加总或者取平均，这样操作是scale了，其实影响不大，只是确保loss计算时的value不至于太大。batchsize超过64的情况不多(batchsize太大会有副作用)，这时候优化的粒度没那么细，scale操作适当又做了惩罚。可能在某些时候比不加收敛更快
阅读全文
摘要：你想获得双倍训练速度的快感吗？ 你想让你的显存空间瞬间翻倍吗？ 如果我告诉你只需要三行代码即可实现，你信不？ 在这篇博客里，瓦砾会详解一下混合精度计算（Mixed Precision），并介绍一款Nvidia开发的基于PyTorch的混合精度训练加速神器--Apex，最近Apex更新了API，可以用
阅读全文
摘要：Daemon is not daemon, but what is it? "daemon thread" 是一个困扰了我很久的概念。官方文档是这么说的: A thread can be flagged as a “daemon thread”. The significance of this f
阅读全文
摘要：论文地址： MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applicationsarxiv.org MobileNet的核心就是Depthwise separable convolution（深度可分离
阅读全文
摘要：PyTorch 两大转置函数 transpose() 和 permute(), 以及RuntimeError: invalid argument 2: view size is not compati 关心差别的可以直接看[3.不同点]和[4.连续性问题]前言在pytorch中转置用的函数就只有这两
阅读全文
摘要：学习率衰减是一个非常有效的炼丹技巧之一，在神经网络的训练过程中，当accuracy出现震荡或loss不再下降时，进行适当的学习率衰减是一个行之有效的手段，很多时候能明显提高accuracy。 Pytorch中有两种学习率调整(衰减)方法： 使用库函数进行调整； 手动调整。 1. 使用库函数进行调整：
阅读全文
摘要：废话不多说直接上图 如图有a, b, c 三个 3x3的Tensor, 如果我想把这三个tensor的最后一个维度的元素相叠加，形成一个新的tensor 输入 d=torch.stack( (a,b,c) ,dim = 2) 就会发现他们在第二个维度像叠加，具体来说变化如下图所示 d[0][0]的位
阅读全文
摘要：相对熵（relative entropy）就是KL散度（Kullback–Leibler divergence），用于衡量两个概率分布之间的差异。 一句话总结的话：KL散度可以被用于计算代价，而在特定情况下最小化KL散度等价于最小化交叉熵。而交叉熵的运算更简单，所以用交叉熵来当做代价。 如何衡量两个
阅读全文
摘要：原文： https://pytorch.org/tutorials/advanced/super_resolution_with_onnxruntime.html 注意 单击此处的下载完整的示例代码 在本教程中，我们描述了如何将 PyTorch 中定义的模型转换为 ONNX 格式，然后在 ONNX
阅读全文
摘要：Numpy: Boolean Indexing import numpy as np A = np.array([4, 7, 3, 4, 2, 8]) print(A == 4) [ True False False True False False] Every element of the Ar
阅读全文
摘要：1. Introduction #### PIL(Python Image Library)是python的第三方图像处理库，但是由于其强大的功能与众多的使用人数，几乎已经被认为是python官方图像处理库了。其官方主页为:PIL。 PIL历史悠久，原来是只支持python2.x的版本的，后来出现了
阅读全文
摘要：0.摘要 最近一段时间在学习yolo3，看了很多博客，理解了一些理论知识，但是学起来还是有些吃力，之后看了源码，才有了更进一步的理解。在这里，我不在赘述网络方面的代码，网络方面的代码比较容易理解，下面将给出整个yolo3代码的详解解析，整个源码中函数的作用以及调用关系见下图： 参考：https://
阅读全文
摘要：本文主要介绍PyTorch框架下的可视化工具Tensorboard的使用 面向第一次接触可视化工具的新手<其实是备忘> 之前用了几天visdom，用起来很方便，但是画的图显得很乱，所以花了一晚上把代码里的visdom都改成了tensorboard。 Tensorboard 安装 原本是tensorf
阅读全文
摘要：Python vars() 函数 描述 vars() 函数返回对象object的属性和属性值的字典对象。 语法 vars() 函数语法： vars([object]) 参数 object -- 对象 返回值 返回对象object的属性和属性值的字典对象，如果没有参数，就打印当前调用位置的属性和属性值
阅读全文