机器学习西瓜书白话解读笔记---0311-0317、梯度下降法

机器学习西瓜书白话解读笔记---0311-0317、梯度下降法

一、总结

一句话总结：

【接触理论】：很多事情【不需要想太多】，【多接触】，比如【学习】，学着学着，你就爱上它了，还比如【游戏】，比如其它的很多很多

 

1、梯度下降法？

《深度学习入门》这本书上讲的很详细

 

2、【随机】梯度下降：Stochastic gradient descent？

每次【随机选择一个方向】，每次迭代处理的数据很少

【达到最小值不会稳定下来】，会继续弹跳因此算法停止时，最终的参数是一个比较好的参数，但【不是最佳】的

 

 

 

3、梯度下降法 如何选择【合适的学习率】？

方法一：【网格搜索】：可以使用【网格搜索】，设定迭代次数，尝试几种可能的参数，【比较结果，选择最优】

方法二：【梯度限制】：另一个简单的解决方案是设置【大量的迭代】，当梯度向量变小于一个值时停止

 

 

二、内容在总结中

博客对应课程的视频位置：