摘要: 1.了解不同优化器 2.书写优化器代码3.Momentum4.二维优化,随机梯度下降法进行优化实现5.Ada自适应梯度调节法6.RMSProp7.Adam8.PyTorch种优化器选择 梯度下降法: 1.标准梯度下降法:GD每个样本都下降一次,参考当前位置的最陡方向迈进容易得到局部最优,且训练速度慢 阅读全文
posted @ 2019-08-18 19:11 Assange 阅读(248) 评论(0) 推荐(0) 编辑