反向传播算法

 

 

Chain rule

25-反向传播算法-链式法则.jpg

Multi-output Perceptron

25-反向传播算法-多层感知机.jpg

Multi-Layer Perceptron

  • 对于多隐藏层结构的神经网络可以把隐藏层的节点看成输出层的节点

25-反向传播算法-多隐藏层感知机.jpg

  • For an output layer node kKk∈K

 

EWjk=Ojδk,δk=Ok(1Ok)(Oktk)∂E∂Wjk=Ojδk,δk=Ok(1−Ok)(Ok−tk)

 

  • For a hidden layer node jJj∈J

 

EWij=Oiδj,δj=Oj(1Oj)kKδkWjk∂E∂Wij=Oiδj,δj=Oj(1−Oj)∑k∈KδkWjk

 

  • 其中δkδk 可以看做是OjOj 的信息;δjδj 可以看做是OiOi 的信息
  • 并且下一层的隐藏层偏微分的更新都基于上一隐藏层的偏微分
posted @   ABDM  阅读(121)  评论(0编辑  收藏  举报
编辑推荐:
· 智能桌面机器人:用.NET IoT库控制舵机并多方法播放表情
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
阅读排行:
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· 新年开篇:在本地部署DeepSeek大模型实现联网增强的AI应用
· Janus Pro:DeepSeek 开源革新,多模态 AI 的未来
· 互联网不景气了那就玩玩嵌入式吧,用纯.NET开发并制作一个智能桌面机器人(三):用.NET IoT库
· 【非技术】说说2024年我都干了些啥
历史上的今天:
2019-12-11 214 Redis数据类型之散列表
2019-12-11 020 使用Tornado和协程爬取博客园文章
2019-12-11 213 Redis数据类型之列表操作
2019-12-11 212 Redis之安装
2019-12-11 02-29 朴素贝叶斯(垃圾邮件分类)
2019-12-11 02-30 线性可分支持向量机
2019-12-11 02-28 scikit-learn库之线朴素贝叶斯
点击右上角即可分享
微信分享提示