随笔分类 - DeepLearning
摘要：最近要跑一个faster-rcnn的代码，用到了visdom，因此记录一下使用方法 1、在服务器上运行 python -m visdom.server 发现一直是Downloading scripts, this may take a little while，在网上找了一些方法， 找到visdom
阅读全文
摘要：之前安装dali这个库的时候，都是按照官网的方法安装，但这几天想在新机器上安装时，一直报错 Looking in indexes: https://pypi.org/simple, https://developer.download.nvidia.com/compute/redist/ WARNI
阅读全文
摘要：保存模型： def save(model, model_path): torch.save(model.state_dict(), model_path) 加载模型： def load(model, model_path): model.load_state_dict(torch.load(mode
阅读全文
摘要：很简单的一个问题，当softmax的变量过大或过小怎么办，比如 softmax([100,101,102])的结果是什么？ 有一个方法计算上溢的情况，也就是每个变量都减去最大值，然后做softmax， 所以softmax([100,101,102])和softmax([-2,-1,0])是一样的结果
阅读全文
摘要：也是李宏毅老师的课程。。 His Point of View 有点认同这个观点，比起完全了解神经网络是怎样work的，还不如研究怎样让神经网络更像人类 一样work，也就是更接近人类的各种行为 Interpretable v.s. Powerful
阅读全文
摘要：记录一下李宏毅机器学习课程关于对抗攻击的内容； 1、 一般模型training过程： 输入x_0，调整模型Network的参数θ，使得输出y_0和y_true的loss越小越好；损失函数：L_train(θ) = C(y_0, y_true) Non-targeted Attack： 固定模型Net
阅读全文
摘要：在Pytorch0.4版本的DARTS代码里，有一行代码是 在1.2及以上版本里，查看源码可知，CIFAR10这个类已经没有train_data这个属性了，取而代之的是data，因此要把第二行改成 datasets.CIFAR10源码如下：
阅读全文
摘要：之前在用预训练的ResNet的模型进行迁移训练时，是固定除最后一层的前面层权重，然后把全连接层输出改为自己需要的数目，进行最后一层的训练，那么现在假如想要只是把 最后一层的输出改一下，不需要加载前面层的权重，方法如下： 首先模型结构是必须要传入的，然后把最后一层的输出改为自己所需的数目
阅读全文
摘要：首先注明，参考了这篇博客https://www.jianshu.com/p/4905bf8e06e5 方法1、 先序列化，格式可以是mdl，pt等 然后反序列化，再加载 方法2、 保存整个模型，格式可以是pth.tar 然后加载 还有一些在GPU和CPU之间的传输方法，具体见博客或者官方文档
阅读全文
摘要：这几天关于accuracy和loss的计算有一些疑惑，原来是自己还没有弄清楚。 给出实例 首先这样一次训练称为一个epoch，样本总数/batchsize是走完一个epoch所需的“步数”，相对应的，len(train_loader.dataset)也就是样本总数，len(train_loader)
阅读全文
摘要：最近在看DARTS的代码，有一个operations.py的文件，里面是对各类点与点之间操作的方法。 首先定义10个操作，依次解释： class PoolBN(nn.Module): """ AvgPool or MaxPool - BN """ def __init__(self, pool_ty
阅读全文
摘要：主要是介绍Inception和Xception，后续补看论文 1、首先是分组卷积的概念，分组卷积是把输入通道C_in和输出通道C_out都平均分成了n份（前提是C_in和C_out都能被n整除），然后把平均分后的输出通道concat起来，又变成了原来一样的通道数，可用下图表示： 这样做好的好处在于参
阅读全文
摘要：好处是可以重复利用特征， 坏处在于： 采取如下措施： 这样每层都能提取到相应“难度”的特征进行分类，进而引入densenet的思想： 3、 Code
阅读全文
摘要：需求： 在ubunu16.0的服务器上使用Pytorch内嵌的tensorboard 安装 如果嫌慢可以加上阿里云的镜像 使用 首先在服务器上运行 服务器给出的地址在谷歌浏览器上被拒绝访问 解决方法是：建立ssh隧道，实现远程端口到本机端口的转发，远端被侦听端口为tensorboard默认的6006
阅读全文
摘要：采摘一些大佬的果实： 知乎：如何理解深度学习分布式训练中的large batch size与learning rate的关系？ https://blog.csdn.net/shanglianlm/article/details/84821891
阅读全文
摘要：或者from torch.optim import lr_scheduler 注意，学习率的更新要放在训练和验证集测试之后进行。 2.以一定的策略调整学习率 参考： https://www.jianshu.com/p/a20d5a7ed6f3 https://pytorch.org/docs/mas
阅读全文
摘要：之前一直不清楚Top1和Top5是什么，其实搞清楚了很简单，就是两种衡量指标，其中，Top1就是普通的Accuracy，Top5比Top1衡量标准更“严格”， 具体来讲，比如一共需要分10类，每次分类器的输出结果都是10个相加为1的概率值，Top1就是这十个值中最大的那个概率值对应的分类恰好正确的频
阅读全文
摘要：https://github.com/pytorch/vision/tree/master/torchvision/models， 转载自https://www.cnblogs.com/ywheunji/p/10605614.html
阅读全文
摘要：图像文件放在linux服务器上，加载的时候报错，解决办法： 在代码中添加两行
阅读全文
摘要：环境： Pytorch1.1，Python3.6，win10/ubuntu18，GPU 正文 项目结构如下所示 pokemon里面存放数据，分别是五个文件夹，其中每个文件夹分别存放一定数量的图片，总共1000多张图片； best.mdl是保存下来的模型，可以直接加载进行分类 resnet.py是自己
阅读全文
