第五节，Neural Networks and Deep Learning 一书小节(中)
在这一节，我们对上一个程序(Network1.py)进行了优化
3.改进神经网络的学习方法
(1)交叉熵代价函数的引入
Network1程序采用了S型神经元，S型神经元存在一个问题，当输出层神经元的输出接近0，或者1的时候，sigmoid函数曲线相当平导致此时sigmoid函数的导数很小，当选择二次代价函数时，输出误差δL=(aL-y)
σ‘(zL)，∂C/∂ωL，∂C/∂bL就会非常小，使得神经网络学习变得缓慢。
因此我们引入了交叉熵代价函数
当选择交叉熵代价函数时，δL= aL-y。解决了输出层学习缓慢的问题，但是没有解决隐藏层的神经元在σ(z)接近1或者0的时候饱和的问题。
(2)柔性最大值的引入
有时候我们想把输出层第j个神经元的输出看做一种概率估计，因此引入了柔性最大值(softmax)，第j个神经元的激活值是：
并定义对数代价函数
其中y为训练输入x对应的目标输出,aL为神经网络输出。如果我们训练的是MNIST图像，输入为7的图像，那么对应的对数代价就是-lna7L，当神经网络输出就是7的时候，他会估计一个对应的概率a7L和1很接近，所以代价就会很小，反之，神经网络表现的很糟，改良版a7L就变的很小，代价就随之增大，所以对数代价函数也是满足我们期望的代价函数的条件的。
(3)过度拟合和规范化
过度拟合可以理解为模型对已有的数据会表现的很好，但是对新的数据很难泛化，对一个模型真正的测验就是他对没有见过的场景的预测能力。
为了缓解过度拟合，我们主要采取以下措施：
- L1.规范化
- L2规范化
- L1规范化
- 弃权
- 人为增加训练样本
这里主要讲解以下L2规范化技术。二次代价函数，以及交叉熵代价函数，柔性最大值规范化后的形式如下：
其中C0为原始代价函数。第二项加入的就是所有权重(每个元素)的平方和，λ成为规范化参数，规范化可以当做一种寻找小的权重和最小原始代价函数之间的折中，λ越小，就越偏向于最小化原始代价函数，反之倾向于小的权重。
此时权重学习就变成了
(4)权重初始化
由于Network1程序中中我们在隐藏层和输出层激活函数选用的都是sigmoid函数，我们刚才考虑采用交叉熵代价函数，解决了输出层学习缓慢的问题，但是隐藏层的神经元在σ(z)接近1或者0的时候，也会存在饱和的问题，会导致学习缓慢。
在Network1中我们随机初始化权重和偏置为标准正态分布。假设我们使用一个有大量输入神经元的网络，比如有10000个，我们假设训练输入x，其中一半神经元的输入神经值为1，另一半输入为0。让我们考虑隐藏神经元输入的带权和 z = Σwjxj+b，所以z服从μ(0,501)正态分布，z是一个有非常宽的高斯分布，z>>1或者z<<-1的概率会很大，这样神经元的输出σ(z)会接近1或者0，这样我们的隐藏神经元会饱和，所以当出现这样的情况时，在权重中进⾏微⼩的调整仅仅会给隐藏神经元的激活值带来极其微弱的改变。⽽这种微弱的改变也会影响⽹络中剩下的神经元，然后会带来相应的代价函数的改变。结果就是，这些权重在我们进⾏梯度下降算法时会学习得⾮常缓慢。这其实和我们在前⾯所说的问题差不多，前⾯的情况是输出神经元在错误的值上饱和导致学习的下降。我们之前通过代价函数的选择解决了前⾯的问题。不幸的是，尽管那种⽅式在输出神经元上有效，但对于隐藏神经元的饱和却⼀点作⽤都没有。
假设我们有一个有nin个输入权重的神经元，因此我们可以通过初始化权重和偏置分布为μ(0,1/nin)解决这个问题。
亲爱的读者和支持者们，自动博客加入了打赏功能，陆陆续续收到了各位老铁的打赏。在此，我想由衷地感谢每一位对我们博客的支持和打赏。你们的慷慨与支持，是我们前行的动力与源泉。
| 日期 | 姓名 | 金额 |
|---|---|---|
| 2023-09-06 | *源 | 19 |
| 2023-09-11 | *朝科 | 88 |
| 2023-09-21 | *号 | 5 |
| 2023-09-16 | *真 | 60 |
| 2023-10-26 | *通 | 9.9 |
| 2023-11-04 | *慎 | 0.66 |
| 2023-11-24 | *恩 | 0.01 |
| 2023-12-30 | I*B | 1 |
| 2024-01-28 | *兴 | 20 |
| 2024-02-01 | QYing | 20 |
| 2024-02-11 | *督 | 6 |
| 2024-02-18 | 一*x | 1 |
| 2024-02-20 | c*l | 18.88 |
| 2024-01-01 | *I | 5 |
| 2024-04-08 | *程 | 150 |
| 2024-04-18 | *超 | 20 |
| 2024-04-26 | .*V | 30 |
| 2024-05-08 | D*W | 5 |
| 2024-05-29 | *辉 | 20 |
| 2024-05-30 | *雄 | 10 |
| 2024-06-08 | *: | 10 |
| 2024-06-23 | 小狮子 | 666 |
| 2024-06-28 | *s | 6.66 |
| 2024-06-29 | *炼 | 1 |
| 2024-06-30 | *! | 1 |
| 2024-07-08 | *方 | 20 |
| 2024-07-18 | A*1 | 6.66 |
| 2024-07-31 | *北 | 12 |
| 2024-08-13 | *基 | 1 |
| 2024-08-23 | n*s | 2 |
| 2024-09-02 | *源 | 50 |
| 2024-09-04 | *J | 2 |
| 2024-09-06 | *强 | 8.8 |
| 2024-09-09 | *波 | 1 |
| 2024-09-10 | *口 | 1 |
| 2024-09-10 | *波 | 1 |
| 2024-09-12 | *波 | 10 |
| 2024-09-18 | *明 | 1.68 |
| 2024-09-26 | B*h | 10 |
| 2024-09-30 | 岁 | 10 |
| 2024-10-02 | M*i | 1 |
| 2024-10-14 | *朋 | 10 |
| 2024-10-22 | *海 | 10 |
| 2024-10-23 | *南 | 10 |
| 2024-10-26 | *节 | 6.66 |
| 2024-10-27 | *o | 5 |
| 2024-10-28 | W*F | 6.66 |
| 2024-10-29 | R*n | 6.66 |
| 2024-11-02 | *球 | 6 |
| 2024-11-021 | *鑫 | 6.66 |
| 2024-11-25 | *沙 | 5 |
| 2024-11-29 | C*n | 2.88 |
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识（上）
· 浏览器原生「磁吸」效果！Anchor Positioning 锚点定位神器解析
· 没有源码，如何修改代码逻辑？
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· 白话解读 Dapr 1.15：你的「微服务管家」又秀新绝活了