Toriyung

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

统计

神经网络的数值归一化(吴恩达)

 

图表为损失函数的等高线图

 

当数据未进行归一化时：不同权重参数的比例十分之大，不同点的梯度下降的过程精确度不尽相同，所以必须减小学习步长，因此学习时长变长

 

 

当数据归一化时：权重参数的比例相近，不同点的梯度下降精确度近似，所以可以放心加大学习步长，进而减小

 

 

posted on   Toriyung  阅读(143)  评论(0)  编辑  收藏  举报

编辑推荐：
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列：如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列：如何用 C#调用 C方法造成内存泄露
阅读排行：
· 无需6万激活码！GitHub神秘组织3小时极速复刻Manus，手把手教你使用OpenManus搭建本
· Manus爆火，是硬核还是营销？
· 终于写完轮子一部分：tcp代理 了，记录一下
· 别再用vector＜bool＞了！Google高级工程师：这可能是STL最大的设计失误
· 单元测试从入门到精通
点击右上角即可分享
微信分享提示