BP神经网络

 一、前向传播

 w 权重

 b 偏差

 a 输入

一般地，我们可以把前向传播过程表示：

 

2. 损失函数和代价函数

 

损失函数主要指的是对于单个样本的损失或误差；

代价函数表示多样本同时输入模型的时候总体的误差——每个样本误差的和然后取平均值。

 

3. 反向传播

  反向传播的基本思想

        就是通过计算输出层与期望值之间的误差来调整网络参数，从而使得误差变小。

 

4.反向传播原理（四个基础等式）

 

 引入一个中间变量δ^l_j，我们把它叫做网络中第l层第j个神经元的误差。

 为第l层第j个神经元添加一个扰动Δz[l]j，使得损失函数或者代价函数变小，那么这就是一个好的扰动。

 

 

 

单样本输入公式

 

L表示输出层层数。用∂L 表示 ∂L(a[L],y)

 

 

 5.多样本输入公式