神经网络反向传播公式推导

本文摘自Michael Nielsen的Neural Network and Deep Learning, chapter 1 & 2.

随机梯度下降

 

 

带权输入

 

反向传播的四个基本方程

 

 

BP1方程的证明:

 

BP2方程的证明:

BP2的证明有些绕,我们可以用更直观的方式来说明这个公式,假设第L-1层和第L层的都只有3个神经元:

反向传播算法:

posted @   Picassooo  阅读(204)  评论(0编辑  收藏  举报
编辑推荐:
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
阅读排行:
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 别再用vector<bool>了!Google高级工程师:这可能是STL最大的设计失误
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 单元测试从入门到精通
点击右上角即可分享
微信分享提示