CS231n 2017 学习笔记04——反向传播与神经网络 Backpropagation and Neural Networks

本博客内容来自 Stanford University CS231N 2017 Lecture 4 - Backpropagation and Neural Networks

课程官网：http://cs231n.stanford.edu/syllabus.html

从课程官网可以查询到更详细的信息，查看视频需要FQ上YouTube，如果不能FQ或觉得比较麻烦，也可以从我给出的百度云链接中下载。

课程视频&讲义下载：http://pan.baidu.com/s/1gfu51KJ

 

---

 

计算图 Computational graphs

计算图就是把复杂的公式用图形表示出来，很直观。

 

---

 

反向传播 Backpropagation:

反向传播算法利用了求导的链式法则，从结果出发，一步步逆推出每一个变量的导数，这也是反向传播名称的由来。

 

图中展示的都是最最最简单的节点，当然也可以适当的把几个节点组合起来，形成一个新的稍微复杂一点的节点。这本身就是一种 trade-off，如果想要少做微积分运算，那就得使用更多更简单的节点，但这样就会造成整个计算图庞大、臃肿。

 

 

---

 

常见节点的特性