如何理解反向传播 Backpropagation 梯度下降算法要点

http://colah.github.io/posts/2015-08-Backprop/

 

http://www.zhihu.com/question/27239198

待翻译

 

http://blog.csdn.net/woxincd/article/details/7040944

 

对于我们的函数J(θ)求偏导J：

下面是更新的过程，也就是θi会向着梯度最小的方向进行减少。θi表示更新之前的值，-后面的部分表示按梯度方向减少的量，α表示步长，也就是每次按照梯度减少的方向变化多少。

 一个很重要的地方值得注意的是，梯度是有方向的，对于一个向量θ，每一维分量θi都可以求出一个梯度的方向，我们就可以找到一个整体的方向，在变化的时候，我们就朝着下降最多的方向进行变化就可以达到一个最小点，不管它是局部的还是全局的。

 

 

N：=N+1

数学

水水好萌1952014-12-08

优质解答

这原来是计算机语言里面的东西,后来高中数学引进算法知识后,就出现在数学里了.
意思是,N变成了N+1,即某个变量自己加1.
比如 原来 N=1
则经过 N:=N+1之后 现在N=1+1=2 了