2023年4月23日
Gradient Descent
摘要： Learning Rate 关于lr的问题 lr太小 模型收敛的很慢，时间开销大 lr太大 每次更新参数步子迈的很大，容易越过最优解 我们追求的是红色的情况 动态调整lr 基本原则：先大再小 在训练开始时，此时我们距离最优解还较远，lr可以设置稍大些，以较快的速度接近最优解。在训练的后期，此时我们已 阅读全文
posted @ 2023-04-23 15:47 dctwan 阅读(20) 评论(0) 推荐(0) 编辑