机器学习西瓜书白话解读笔记---0301-0308、线性回归

机器学习西瓜书白话解读笔记---0301-0308、线性回归

一、总结

一句话总结：

【亡羊补牢】：人的确是都会犯错，【亡羊补牢】最最重要，比如网络游戏

 

1、一元线性回归？

只有【一个属性】，即d=1；【w,b为单个的数】

一元线性回归目标函数：【最小二乘法】：$$( w ^ { * } , b ^ { * } ) = \underset { ( w , b ) } { \arg \min } \sum _ { i = 1 } ^ { m } ( f ( x _ { i } ) - y _ { i } ) ^ { 2 } = \underset { ( w , b ) } { \arg \min } \sum _ { i = 1 } ^ { m } ( y _ { i } - w x _ { i } - b ) ^ { 2 }$$

 

2、一元线性回归对w求偏导？

目标函数求解过程也称为线性回归模型的【对最小二乘“参数估计”】

对w求导：这个公式的推导非常简单，最小二乘法求偏导一步一步即可：$$\frac { \partial E _ { ( w , b ) } } { \partial w } = 2 ( w \sum _ { i = 1 } ^ { m } x _ { i } ^ { 2 } - \sum _ { i = 1 } ^ { m } ( y _ { i } - b ) x _ { i } )$$

导数为0求得最优解：$$w = \frac { \sum _ { i = 1 } ^ { m } y _ { i } ( x _ { i } - \overline { x } ) } { \sum _ { i = 1 } ^ { m } x _ { i } ^ { 2 } - \frac { 1 } { m } ( \sum _ { i = 1 } ^ { m } x _ { i } ) ^ { 2 } }$$

 

3、一元线性回归对b求偏导？

对b求导：这个公式的推导非常简单，最小二乘法求偏导一步一步即可：$$\frac { \partial E _ { ( w , b ) } } { \partial b } = 2 ( m b - \sum _ { i = 1 } ^ { m } ( y _ { i } - w x _ { i } ) )$$

导数为0求得最优解：$$b = \frac { 1 } { m } \sum _ { i = 1 } ^ { m } ( y _ { i } - w x _ { i } )$$

 

 

 

二、内容在总结中

博客对应课程的视频位置：