深度学习（十）训练时的调参技巧
训练过程中需要适时的调整参数，以获得比较好的模型，下面介绍几种调参方式：
- 参数初始化
- 初始化参数对结果的影响至关重要，一定要做参数初始化，否则会出现收敛速度变慢，影响收敛结果，甚至造成nan的问题，下面介绍几种初始化方法
- Xavier
权重初始化太大容易发散，初始化太小容易弥散而不收敛，Xavier是让权重均值为0，方差为2/in+out，可以初始化的不大不小
-
- 在深度网络中，随机初始化权重，使用SGD的话一般处理的都不好，这是因为初始化的权重太小了。
- 优化器的选择
- 用Adam或者AdamGrad代替SGD，可以设置较小的初始值实现自动调参数
- learningRate调整
- 从一个正常大小的学习率（LR）开始，朝着终点不断缩小
- 如果大的LR容易使Loss爆掉，可以尝试先使用一个小LR保证不爆, 等loss降下来了, 再慢慢升LR, 之后当然还会慢慢再降LR
- LARS算法是一种调LR的策略，该算法通过对不同层使用不同LR来提升大Batch size场景下的训练精度
- 根据经验，LR较大时，前期收敛快后期收敛慢，LR较小时，前期慢后期快
- 梯度检查
- 自己手动写的backward容易出现bug，可以做gradient check检查是否有错误
- fine tune
- 所谓fine tune就是用别人训练好的模型，加上我们自己的数据来训练新的模型。fine tune相当于使用别人的模型的前几层，来提取浅层特征，然后在最后再落入我们自己的分类中
具体例子可以参考：http://www.cnblogs.com/xuanyuyt/p/6062204.html
- mini batch
- 一般选择128，过大的minibatch容易出现过拟合
- 过大的batchsize会带来明显的精度损失，因为在大batchsize下，样本随机性降低，梯度下降方向趋于稳定，训练由SGD向GD趋近，模型容易收敛到初始值附近的到局部最优解
- 增加Norm层
- 一般来说模型收敛比较好，特征分布会比较稳定，可以增加Norm层来规范特征分布
如果出现loss为NAN，怎么找出问题并解决？
1. loss 出现为NAN， 应该是loss计算有问题，例如使用的criterion出现除以0的情况。
参考：
