反向传播

一 预备知识

二 反向传播

取出来一个神经元

Forward pass

---

 

Backward pass

---

第一项比较简单，通过已知的函数可以直接求出：

第二项就比较复杂，简单的求解过程如下：

 前边的论述是假设有两项是已知的情况，如果不知道呢？？？

总结：

 参考：

http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/BP.pdf

https://blog.csdn.net/soulmeetliang/article/details/72873209