Generalized Linear Models 一般线性模型

Ordinary Least Squares  普通最小二乘法

\hat{y}(w, x) = w_0 + w_1 x_1 + ... + w_p x_p

      \underset{w}{min\,} {|| X w - y||_2}^2       当达到最小值的时候，就达到最佳拟合直线

     求关于系数w 最小二次方程的最小值，可以利用求对w偏导数  

 

    同上面等价的另外一种形式的表示： 

    

 

 

 

也可以简化成

 

推导过程：

 

    

Ridge Regression 岭回归

 

 

由于上式在多重共线性， 会变成0，就会产生问题

通过变换成下面的式子，可以消除这个问题

 k为岭参数， 当k为0,得到最小二乘解，当岭参数趋向更大时,岭回归系数估计趋向于0 

 

\underset{w}{min\,} {{|| X w - y||_2}^2 + \alpha {||w||_2}^2}          

 

 

 

 

 

 

 

 

 

 

 

知识点：

多重共线性

        回归模型中的变量存在高度相关性

有偏估计和无偏估计

        个人理解（待修改）：由于直接计算比较困难，通过变换或加上辅助的因子来计算，变换后的计算是有偏估计

                                     没有变换的计算是无偏估计

     

posted @ 2016-08-05 07:01  kyo.stone  阅读(193)  评论(0)  编辑  收藏  举报