调参深度解析——学习率设置原则

学习率设置原则（在这主要以迁移学习为主）：

由于模型已经在原始数据上收敛，所以应该设置较小学习率，在新数据上微调。若非迁移学习则先将学习率设置在0.01~0.001为宜，一定轮数之后再逐渐减缓，接近训练结束学习率的衰减应在100倍以上。

目标函数损失值 曲线（理想状态应该为绿色滑梯式下降曲线）：

1. 曲线 初始时 上扬 【红线】：
   Solution：初始 学习率过大 导致 振荡，应减小学习率，并 从头 开始训练 。
2. 曲线 初始时 强势下降 没多久 归于水平 【紫线】：
   Solution：后期 学习率过大 导致 无法拟合，应减小学习率，并 重新训练 后几轮 。
3. 曲线 全程缓慢 【黄线】：
   Solution：初始 学习率过小 导致 收敛慢，应增大学习率，并 从头 开始训练 。

 

参考链接：深度学习：学习率learning rate 的设定规律