算法学习--反向传播

如有侵权，请留言，会尽快删除。

此文为笔记性质的文章，目的是方便自己以后回顾反向传播的思想和基本原理。

以下内容来自网易云课堂中李飞飞老师的cs231n的视频课程。

 

图解基本原理

 

一旦我们能用计算图来表示一个函数，那就能用所谓的反向传播技术递归的调用链式法则，来计算一下计算图中每个变量的梯度。

复杂一些的计算图

在最右侧的计算时，函数对于自身的求导是1这没什么好说的，函数1/x 的倒数是 -1/x^2 ，将其中x的值1.37 带入，在与前一层得出的梯度值 1 进行相乘，得出的结果 -0.53 ，作为前一层梯度计算的输入。

 

最大门问题

 

解释：如果你要改变这个节点一点点，当你正通过这个图进行前向传递时，它会在前向传递中影响到所有连接到这个节点的节点，然后当你进行反向传播的时，所有传回的梯度都会影响这个节点，这就是我们如何将这些加起来得到回流到这个节点的总上游梯度。