深度网络中的正向传播

如何在深度网络中灵活应用正向和反向传播

 

 

先看对其中一个训练样本x,该怎么应用正向传播,之后讨论向量化的版本

 

在第一层里需要计算

z[1] = w[1]x + b[1]= z[1] = w[1]a[0]+ b[1]

(w[1]和b[1]就是会影响在第一层的激活单元的参数)

a[1]= g[1] ( z[1])    ( 激活函数)

在第二层里需要计算

z[2] = w[2]a[1]+ b[2]

a[2]= g[2] ( z[2])

后面几层以此类推,直到计算到第四层,也就是输出层

z[4] = w[4]a[3]+ b[4]

a[4]= g[4] ( z[4])

基本规律就是:

z[L] = w[L]a[L-1]+ b[L]

a[L]= g[L] ( z[L])

标黄部分就是正向传播公式了

 

上述就是针对一个训练样本的过程,下面是怎么用向量化的方法训练整个训练集

我们要做的只是在把所有的z或者a向量叠起来

posted @   暖黄的秘密的心情  阅读(408)  评论(0编辑  收藏  举报
编辑推荐:
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
阅读排行:
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· Spring AI + Ollama 实现 deepseek-r1 的API服务和调用
· 数据库服务器 SQL Server 版本升级公告
· 程序员常用高效实用工具推荐,办公效率提升利器!
· C#/.NET/.NET Core技术前沿周刊 | 第 23 期(2025年1.20-1.26)
点击右上角即可分享
微信分享提示