deep learning 知识点

 

优化

• 都9102年了，别再用Adam + L2 regularization了
• AdamW and Super-convergence is now the fastest way to train neural nets
• 从几何视角来理解模型参数的初始化策略   
  • 让模型在初始化时能保持模长不变，W正交，高维空间中的任意两个随机向量几乎都是垂直的，控制均值方差即可
  • 事实上很难针对每一个激活函数都做好方差的调整，所以一个更通用的做法就是直接在激活函数后面加上一个类似Layer Normalization的操作，直接显式地恢复模长
• BN究竟起了什么作用？一个闭门造车的分析  
• 深度学习中的Lipschitz约束：泛化与生成模型  限制模型对输入的扰动，矩阵范数，谱归一

卷积

im2col的原理和实现
各种卷积动图
空洞卷积问题：gridding、long-range

CNN中的位置和尺度问题
分类需要低频info，定位需要高频info
分类需要平移不变性（invariance），定位需要平移相等性（equivalence）
downsample破坏平移相等性和不变性，对于平移相等性的影响更大。
微小的平移和尺度变化可能严重影响结果（我们不能简单地把系统中的平移不变性寄希望于卷积和二次采样，输入信号的平移不意味着变换系数的简单平移，除非这个平移是每个二次采样因子的倍数。）
缓解：抗锯齿bluring、数据增强、减少降采样
 

softmax

• 玻尔兹曼分布与Softmax的关联
  • 【机器学习】【白板推导系列】(系列八) 指数族分布7-最大熵角度(2)
    • 　　
    • f(x)可以视作模型，热力学中的能量

    • 信息熵为什么要定义成-Σp*log(p)？    信息的单位

  • 最大熵原理推导玻尔兹曼分布

• 从最优化的角度看待Softmax损失函数  函数逼近
• Softmax vs. Softmax-Loss: Numerical Stability
• softmax上溢和下溢问题

 

Gumbel-Softmax Trick和Gumbel分布 

• Gumbel-Softmax Trick和Gumbel分布  

• The Gumbel-Max Trick: Explained  

• 如何理解Gumbel-Max trick？

 

Normalization

• 模型优化之Layer Normalization

模型加速

• 神经网络量化简介

训练trick

• fine-tune时的学习率warm-up的调整
• L2正则化
• Adam优化器换成SGD，lookhead优化器
• 初始化预训练权重
• 学习率的调整，根据BACTH SIZE来调整
• 显存过小时候，使用平均损失来求梯度，防止单次样本太小震荡剧烈。
• Batch_size大小的选择，不宜太大也不能太小，最好是2的指数次方
• 图片的预处理

出现nan值的处理

• 重新初始化
• 梯度截断
• 利用激活函数限幅，如：y = min(max(0,x),6)(relu6)
• 重新清理数据集
• 查看是否分母出现0
• 减小学习率