摘要：
直观理解反向传播 反向传播算法是用来求那个复杂到爆的梯度的。 上一集中提到一点，13000维的梯度向量是难以想象的。换个思路，梯度向量每一项的大小，是在说代价函数对每个参数有多敏感。 如上图，我们可以这样里理解，第一个权重对代价函数的影响是是第二个的32倍。 我们来考虑一个还没有被训练好的网络。我们 阅读全文
摘要：
代价函数 在一开始，我们会完全随机地初始化所有的权重和偏置值。可想而知，这个网络对于给定的训练示例，会表现得非常糟糕。例如输入一个3的图像，理想状态应该是输出层3这个点最亮。 可是实际情况并不是这样。这是就需定义一个代价函数。（吴恩达老师称单个样本上的代价为$Loss function$，称为损失函 阅读全文
摘要：
神经元 3B1B先讨论最简单的MLP（多层感知器），只是经典的原版，就已经能识别手写数字。 这里一开始我们把神经元看作装有数字的容器，装着一个0~1之间的数字。但是最后更准确一些，我们把神经元看作一个函数，它输入的是上一层所有神经元的输出。 手写数字识别示例 看下面这个手写数字的例子 这个神经网络一 阅读全文