反向传播算法及其数学推导

 

 

 

 

 

 

 

 

 

 

 

 

其实反向传播算法从公式

 

 上来看，损失C对W的权重有两部分，一部分是第一项，激活函数Z对W的偏导数（a）, 此项其实就是前向传播，另一个是第二项，C对激活函数Z的偏导数，此项就是反向传播。

而a实际上是当前这个神经元的输入。

 

数学推导部分，重点说明权值矩阵在反向传播是是乘以W的转置

 

 

 

 

  欢迎转载，但需要注明出处。沟通交流：wujianping.2006@163.com