神经网络优化：RMSprop（均方根传播梯度下降法）
最终目的仍是减少振荡方向(b)的更新幅度，提高前进方向(ω)的更新幅度
引入Sdω和Sdb，如公式表达，由于dω<db，求其均方根作为分母，实现ω的更新幅度大，而b的更新幅度小
注意
1. 使用中为了避免出现√Sdω=0导致除数为0的情况出现，应令√(Sdω+ε) （吴恩达视频中建议ε=1e-8）
2. 与动量梯度下降法一样，需要对S进行修正：S = S/(1-βt)
最终目的仍是减少振荡方向(b)的更新幅度，提高前进方向(ω)的更新幅度
引入Sdω和Sdb，如公式表达，由于dω<db，求其均方根作为分母，实现ω的更新幅度大，而b的更新幅度小
注意
1. 使用中为了避免出现√Sdω=0导致除数为0的情况出现，应令√(Sdω+ε) （吴恩达视频中建议ε=1e-8）
2. 与动量梯度下降法一样，需要对S进行修正：S = S/(1-βt)
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 无需6万激活码！GitHub神秘组织3小时极速复刻Manus，手把手教你使用OpenManus搭建本
· Manus爆火，是硬核还是营销？
· 终于写完轮子一部分：tcp代理 了，记录一下
· 别再用vector＜bool＞了！Google高级工程师：这可能是STL最大的设计失误
· 单元测试从入门到精通