cousera 深度学习 吴恩达 第一课 第二周 学习率对优化结果的影响
本文代码实验地址:
https://github.com/guojun007/logistic_regression_learning_rate
cousera 上的作业是 编写一个 logistic regression 分类器,为了看看学习率对优化结果的影响,我又私下做了对比实验,
2000次迭代,和30000次迭代,不同实验中分别使用学习率 0.01, 0.001, 0.0001,这个三个学习率。
2000次迭代:
30000次迭代
在第一个图中学习率最大的0.01,优化结果先变成最坏的,然后又变成最好的,但是这可能是运行的迭代次数比较少的一个原因,如果运行迭代次数足够大的情况下学习率最小的0.0001会取得更好的优化结果,于是又将运行的迭代次数改为30000,看看能不能验证自己的想法。
在30000次的运行迭代次数中,发现还是最大的学习率0.01取得了最好的优化结果,由此可见学习率小未必能取得最好的优化结果,即使是足够长的运行迭代周期中最小的学习率0.0001也没有取得很好的优化结果。
在30000次迭代和2000次迭代中 学习率0.01 都是最好的设置。
本博客是博主个人学习时的一些记录,不保证是为原创,个别文章加入了转载的源地址,还有个别文章是汇总网上多份资料所成,在这之中也必有疏漏未加标注处,如有侵权请与博主联系。
如果未特殊标注则为原创,遵循 CC 4.0 BY-SA 版权协议。
posted on 2018-07-12 15:25 Angry_Panda 阅读(360) 评论(0) 编辑 收藏 举报