摘要: 梯度下降 调整学习率learning rate 学习率过大,发生震荡。学习率过小,学习效率低 较好的方法是在较平坦的地方步子迈大些,陡峭的地方步子迈小些 自适应学习率 随着迭代次数的增加,通过因子来减小学习率 刚开始,初始点距离最低点远,使用大的学习率 迭代若干次数后靠近最低点,采用小的学习率 Ad 阅读全文
posted @ 2019-02-27 20:51 hello.world! 阅读(538) 评论(0) 推荐(0) 编辑