Fork me on GitHub

什么是指数加权平均、偏差修正？

指数加权平均

在深度学习优化算法中，例如Momentum、RMSprop、Adam，都提到了一个概念，指数加权平均，看了Andrew Ng的深度学习课程后，总结一下什么是指数加权平均。

 式中v_t可近似代表1/(1-β)个θ的平均值。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

偏差修正

由以上证明可以看出，每个最新数据值，依赖于以前的数据结果。

一般令第一个数值为0，即v0=0；但此时初期的几个计算结果就会与真实的平均值有较大偏差，具体如下：

有了指数加权平均、偏差修正的基础，就可以研究一下深度学习中优化算法的实现原理了。

点击进入文章

《深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）》

posted @   郭耀华  阅读(13194)  评论(1)  编辑  收藏  举报
编辑推荐：
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语，封装的思维：从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热？
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
阅读排行：
· 周边上新：园子的第一款马克杯温暖上架
· 分享 3 个 .NET 开源的文件压缩处理库，助力快速实现文件压缩解压功能！
· Ollama——大语言模型本地部署的极速利器
· DeepSeek如何颠覆传统软件测试？测试工程师会被淘汰吗？
· 使用C#创建一个MCP客户端
点击右上角即可分享
微信分享提示
AI IDE Trae