会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
郭耀华's Blog
欲穷千里目,更上一层楼
项目主页:
https://github.com/guoyaohua/
博客园
首页
新随笔
联系
订阅
管理
2018年3月11日
什么是指数加权平均、偏差修正?
摘要: 指数加权平均 在深度学习优化算法中,例如Momentum、RMSprop、Adam,都提到了一个概念,指数加权平均,看了Andrew Ng的深度学习课程后,总结一下什么是指数加权平均。 式中v_t可近似代表1/(1-β)个θ的平均值。 偏差修正 由以上证明可以看出,每个最新数据值,依赖于以前的数据结
阅读全文
posted @ 2018-03-11 17:19 郭耀华
阅读(13006)
评论(1)
推荐(16)
编辑
公告