梯度下降法、牛顿法及其发展
label:
1、优化算法
2、一阶优化与二阶优化
3、GD、BGD、SGD
4、牛顿法与拟牛顿法
………………博客园的编辑器似乎不是很友好。。。图片格式还不好缩放,前几张有点被遮住
…………
……
补充:牛顿法相当于用海森矩阵的逆来对负梯度方向进行了修正(线性变换用矩阵描述),从而更快到达极值点。
label:
1、优化算法
2、一阶优化与二阶优化
3、GD、BGD、SGD
4、牛顿法与拟牛顿法
………………博客园的编辑器似乎不是很友好。。。图片格式还不好缩放,前几张有点被遮住
…………
……
补充:牛顿法相当于用海森矩阵的逆来对负梯度方向进行了修正(线性变换用矩阵描述),从而更快到达极值点。