BP过程的推导及链式法则中标量向量计算的过程

可以参考这篇文章：

https://zhuanlan.zhihu.com/p/36711903

《BP 神经网络 —— 逆向传播的艺术》

 

里面有一些重要的知识点：

 

神经网络的前馈 (forward propagation) 过程，前馈过程也非常容易理解，符合人正常的逻辑，具体的矩阵计算表达如下：

​

​

 

 

 

 

 

 

   这里就是sigmoid函数的求导结果

 

 

开始通过链式法则求  ：

​ 

继续，可求得：

 

根据梯度下降法，可迭代更新这两个参数值：

​

 

续逆向传播的过程，开始计算再前面一层

 

其中，， 

 

注意：上面式子涉及到向量维度，可以理解为链式法则里面左侧的维度和右侧的维度是保持一致的。

可以参考这篇文章：https://www.cnblogs.com/pinard/p/10825264.html

 

 

 

 

 

 

 

求得  之后，可方便地分别求得输入层至隐含层中  和  的导数：

​

​

同样的，根据梯度下降法对参数  和  进行更新：

 

另外注意：BP的一个很重要的优化点就是，后一层计算结果可以直接被前一层进行复用， 而不需要重复计算。