2020年11月27日
深度模型优化器学习率的一些笔记
摘要： 在跑模型的时候，使用adam，训练了几十个epoch都没有降loss，准确率也没有上升，在使用了不同的优化器比较，使用了不同的初始化参数的方法后，发现需要把adam的学习率降低。 当lr =0.1时，模型准确率5%，lr=0.01、1e-3、3e-4，模型的准确率为17%，然后就是一直没有提升，当我 阅读全文
posted @ 2020-11-27 16:19 ISGuXing 阅读(471) 评论(0) 推荐(0) 编辑