Back propagation Algorithm
Coursera上Machine Learning课程中back propagation algorithm中有2个参考:
https://www.coursera.org/learn/machine-learning/supplement/pjdBA/backpropagation-algorithm 这个链接给出了back propagation的伪代码。
https://www.coursera.org/learn/machine-learning/supplement/v5Bu8/backpropagation-intuition 这个解释了伪代码中的一些步骤。
这里主要解释下如何如何利偏微分和求导链式法则推出相应结果:
其中,函数g是sigmoid函数。
这个network的coss function是:
接下来计算如下: