【深度学习】BP算法推导

一、符号定义

　　 a^l: 第l层的输出值（经过了激活函数）。在DNN中是向量，在CNN中是张量。

　　σ：激活函数的表达形式。

 　　z^l: 第l层的输出值（未经过激活函数）。在DNN中是向量，在CNN中是张量。

　　wl:  第l层的权重。

　　y:  gt。

 　：点积扩展，表示用后者构造一个与前者大小相同的矩阵，再进行点乘，即复制扩展了后者。

　　 δ^l：总代价函数对第l层的z的导数。 δ i,l =(W l+1 ) T δ i,l+1 ⊙σ  ′  (z i,l ) δ i,l =(W l+1 ) T δ i,l+1 ⊙σ  ′  (z i,l ) 

二、DNN-BP

　　1.总结

   δ i,l =(W l+1 ) T δ i,l+1 ⊙σ  ′  (z i,l ) 　　δ i,l =(W l+1 ) T δ i,l+1 ⊙σ  ′  (z i,l ) 

   　　2.推导

   　　

   　　3.流程

   　　

　　 4.参考资料

  　　http://www.cnblogs.com/pinard/p/6422831.html

三、CNN-BP

　　1.总结

  　　

  　　2.推导

   　　类似DNN

  　　3.流程

  　　

  　　4.参考资料

　　　　https://www.cnblogs.com/pinard/p/6494810.html