梯度下降~ML

　　先得学会前一篇文章的代价函数，再来理解梯度下降。

　　我们要求出代价函数中 J(θ0,θ1) 为最小值时的θ0和θ1，梯度下降就是一种常见的求解方式。

　　操作：

• 初始化θ0，θ1
• 改变θ0，θ1使得J(θ0,θ1)取最小值或是局部最小值

　　用两个图解释一下为什么还有局部最小值的情况

 

　　两块红色的区域可以理解成山，梯度下降可以理解成就是为了下山。但是可能有两个地方能到达山底。

　　而梯度下降的流程

• 站在一个点
• 环绕四周，找到坡度最大方向
• 向那个方向走一段距离
• 到达下一个点
• 重复第一步

　　而第二个图可以看出我们选取的起始点相差很少，但是却可能得到不同的结果。

　　下面我们给出梯度下降算法：

　　反复执行  (for j = 1 and j = 0) 

• α ：学习速率（可以理解为下山的速度）
•  ： 导数项

　　值得注意的一点是这个梯度下降算法必须保证Simultaneous update(同步更新) 意思为：

　　

　　而这种是错误的方式：

　　梯度下降函数解析

　　我们把函数改写：（我们用一个θ来表示）

　　

　　这种写法和我们前面的写法是一样的，不过后面的式子表达的是导数，所以我们在数学中用d来表示。

　　

　　这个图就是上面的函数的一个状态，斜率是为正的，所以我们θ1减去一个正数应该左移。就会越来越接近底部。反之同理。

　　现在我们来讨论一下α的过大或过小

　　α过小

　　我们之前说过α是梯度下降的速率，如果过小的话，会下降的非常慢。

　　α过大

　　可能会越过最低点，无法收敛，甚至发散。

　　为什么会导致发散呢？

　　原因：有可能α过大到跑到比低点到原点的距离还远的距离，就会发现斜率变大了，整个速率又变大了，就会离最低点越来越远。

　　现在我们讨论一个特殊情况，如果刚开始的时候θ就在局部最低点它会怎么移动呢？

　　答案是不动，因为在局部最低点的时候斜率为0，不管你下降速率多大他们的乘积还是0，所以是不会变的。

　　现在我们讨论一下斜率

　   用上面图的例子，我从一个位置梯度下降到另一个位置，他的斜率是不是稍微缓和了一下。因为下降速率是固定值，所以下降的就会越来越慢。