摘要： AlexNet: VGGNet： 用3x3的小的卷积核代替大的卷积核，让网络只关注相邻的像素 3x3的感受野与7x7的感受野相同，但是需要更深的网络 这样使得参数更少 大多数内存占用在靠前的卷积层，大部分的参数在后面的全连接层 GoogleNet： Inception模块：设计了一个局部网络拓扑结构 阅读全文

摘要： 静态图只建一次，然后不断复用它，容易在图上做优化，图的效率更高 动态图每次使用时建立，不容易优化 静态图可以在磁盘中序列化，可以保存整个网络的结构，可以重载，在部署中很实用 动态图则需要重复之前的代码 动态图相比静态图代码更简洁 在tensorflow静态图中条件和循环需要特定的语法，pytorch 阅读全文

摘要： https://ptorch.com/news/59.html view()相当于reshape()，其中参数若为-1表示当前的size根据其余size推断 阅读全文

摘要： https://blog.csdn.net/u011501388/article/details/84062483 阅读全文

摘要： .data()和.detach()都可以获取Variable内部的Tensor，但.detach()更加安全 https://zhuanlan.zhihu.com/p/38475183 阅读全文

摘要： https://www.jianshu.com/p/00425f6c0936 转自：https://blog.csdn.net/yy_diego/article/details/82851661 执行命令python test.py结果如下: 先导入了argparse这个包，然后包中的Argumen 阅读全文

摘要： https://github.com/zasdfgbnm/TorchSnooper pip install torchsnooper 在函数前加装饰器@torchsnooper.snoop() 阅读全文

摘要： Transfer Learning 当只有一个小的数据集时，修改最后一层的特征到最后的分类输出之间的全连接层，只需要重新随机初始化这部分矩阵，冻结前面层的权重，相当于只训练一个线性分类器。 当有一个稍微大的数据集时，可以微调整个网络，一般将学习率调低来训练，因为最初的网络参数是在Imagenet上收 阅读全文

摘要： 正则化 在模型中加入正则项，防止训练过拟合，使测试集效果提升 Dropout 每次在网络中正向传播时，在每一层随机将一些神经元置零（相当于激活函数置零），一般在全连接层使用，在卷积层一般随机将整个通道置零而不是单个神经元 Dropout 的两种解释： 1.dropout避免了特征之间的相互适应，假如 阅读全文

摘要： Optimization 随机梯度下降（SGD）： 当损失函数在一个方向很敏感在另一个方向不敏感时，会产生上面的问题，红色的点以“Z”字形梯度下降，而不是以最短距离下降；这种情况在高维空间更加普遍。 SGD的另一个问题：损失函数容易卡在局部最优或鞍点（梯度为0）不再更新。在高维空间鞍点更加普遍 当模 阅读全文