第六节，Neural Networks and Deep Learning 一书小节(下)
4.神经网络可以计算任何函数的可视化证明
神经网络拥有一定的普遍性，即包含一个隐藏层的神经网络可以被用来按照任意给定的精度来近似任何连续函数。
这一章使用一个实例来阐述神经网络是如何来近似一个一元函数，和一个二元函数，并扩展到一个多元的实值函数。
5.深度神经网络为何很难训练
这一章讲述了在深度网络中，不同的层学习的速度差异很大，尤其是，在网络中后面的层学习的情况很好的情况下，先前的层常常会在训练的时候停滞不变，基本学习不到东西。这根本的原因是因为我们学习的速度下降了，实际上，我们会发现在深度学习中使用基于梯度下降的学习方法本身存在着内在的不稳定性。这种不稳定使得先前或者后面的层学习过于阻滞。
我们研究一下神经网络学习阻滞的原因，借用书中的内容：
消失的梯度问题：当激活函数采用sigmoid函数时，反向传播计算会出现消失的梯度问题，主要是由于|σ('z)|<1/4,而且我们初始化权重ω采用μ(0,1)高斯分布，权重|ω|通常会小于1，导致前面的隐藏层中的神经元学习速度要慢于后面的隐藏层。
梯度激增的问题：如果我们权重初始化选择比较大话，并且σ('z)项不会太小，就会导致前面的隐藏层中的神经元学习速度要快于后面的隐藏层，即出现梯度激增的问题。
不稳定的梯度问题：根本的问题其实并⾮是消失的梯度问题或者激增的梯度问题，⽽是在前⾯的层上的梯度是来⾃后⾯的层上项的乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景。 唯⼀让所有层都接近相同的学习速度的⽅式是所有这些项的乘积都能得到⼀种平衡。如果没有某种机制或者更加本质的保证来达成平衡，那⽹络就很容易不稳定了。简⽽⾔之，真实的问题就是神经⽹络受限于不稳定梯度的问题。所以，如果我们使⽤标准的基于梯度的学习算法，在⽹络中的不同层会出现按照不同学习速度学习的情况。
为了避免出现不稳定的梯度问题，我们可以采用修正线性神经元。因为其σ('z)=1.
亲爱的读者和支持者们，自动博客加入了打赏功能，陆陆续续收到了各位老铁的打赏。在此，我想由衷地感谢每一位对我们博客的支持和打赏。你们的慷慨与支持，是我们前行的动力与源泉。
| 日期 | 姓名 | 金额 |
|---|---|---|
| 2023-09-06 | *源 | 19 |
| 2023-09-11 | *朝科 | 88 |
| 2023-09-21 | *号 | 5 |
| 2023-09-16 | *真 | 60 |
| 2023-10-26 | *通 | 9.9 |
| 2023-11-04 | *慎 | 0.66 |
| 2023-11-24 | *恩 | 0.01 |
| 2023-12-30 | I*B | 1 |
| 2024-01-28 | *兴 | 20 |
| 2024-02-01 | QYing | 20 |
| 2024-02-11 | *督 | 6 |
| 2024-02-18 | 一*x | 1 |
| 2024-02-20 | c*l | 18.88 |
| 2024-01-01 | *I | 5 |
| 2024-04-08 | *程 | 150 |
| 2024-04-18 | *超 | 20 |
| 2024-04-26 | .*V | 30 |
| 2024-05-08 | D*W | 5 |
| 2024-05-29 | *辉 | 20 |
| 2024-05-30 | *雄 | 10 |
| 2024-06-08 | *: | 10 |
| 2024-06-23 | 小狮子 | 666 |
| 2024-06-28 | *s | 6.66 |
| 2024-06-29 | *炼 | 1 |
| 2024-06-30 | *! | 1 |
| 2024-07-08 | *方 | 20 |
| 2024-07-18 | A*1 | 6.66 |
| 2024-07-31 | *北 | 12 |
| 2024-08-13 | *基 | 1 |
| 2024-08-23 | n*s | 2 |
| 2024-09-02 | *源 | 50 |
| 2024-09-04 | *J | 2 |
| 2024-09-06 | *强 | 8.8 |
| 2024-09-09 | *波 | 1 |
| 2024-09-10 | *口 | 1 |
| 2024-09-10 | *波 | 1 |
| 2024-09-12 | *波 | 10 |
| 2024-09-18 | *明 | 1.68 |
| 2024-09-26 | B*h | 10 |
| 2024-09-30 | 岁 | 10 |
| 2024-10-02 | M*i | 1 |
| 2024-10-14 | *朋 | 10 |
| 2024-10-22 | *海 | 10 |
| 2024-10-23 | *南 | 10 |
| 2024-10-26 | *节 | 6.66 |
| 2024-10-27 | *o | 5 |
| 2024-10-28 | W*F | 6.66 |
| 2024-10-29 | R*n | 6.66 |
| 2024-11-02 | *球 | 6 |
| 2024-11-021 | *鑫 | 6.66 |
| 2024-11-25 | *沙 | 5 |
| 2024-11-29 | C*n | 2.88 |
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识（上）
· 浏览器原生「磁吸」效果！Anchor Positioning 锚点定位神器解析
· 没有源码，如何修改代码逻辑？
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· 白话解读 Dapr 1.15：你的「微服务管家」又秀新绝活了