tensorflow(三十三)：技巧——动量，让学习率逐渐减小

一、动量

1、普通梯度更新与加上动量的梯度更新。

 

 解释：原先更新的方向是梯度方向，现在多了一个Z方向，即现在是结合了历史惯性。

 

 二、学习率缓慢减少

解释：学习率太大和太小都不太好

 

 

 

posted @   jasonzhangxianrong  阅读(221)  评论(0)  编辑  收藏  举报
编辑推荐：
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列：如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列（二）：开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
阅读排行：
· 阿里最新开源QwQ-32B，效果媲美deepseek-r1满血版，部署成本又又又降低了！
· 开源Multi-agent AI智能体框架aevatar.ai，欢迎大家贡献代码
· Manus重磅发布：全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后，我竟然真的恢复了删除的微信聊天记录！
· 没有Manus邀请码？试试免邀请码的MGX或者开源的OpenManus吧
点击右上角即可分享
微信分享提示