2023年3月13日
优化算法
摘要： 梯度更新：随机梯度，minbath梯度，全量梯度 动量法：引入一阶动量，动量法是为了解决传统的梯度下降算法收敛很慢的问题。相当于每次在进行参数更新的时候，都会将之前的速度考虑进来，加权梯度 AdaGrad：随机梯度优化算法依赖学习率参数，所以为了解决传统梯度的梯度下降算法对参数敏感的问题，因此我们需 阅读全文
posted @ 2023-03-13 20:26 15375357604 阅读(20) 评论(0) 推荐(0) 编辑