岭回归公式推导

对于最小二乘问题

 

加入常数项 ，令

 

                          

变量代换，可以写成

 

其中θ是拟合系数。加入常数项 ，同时，希望拟合参数θ尽可能小，以降低预测值的敏感程度，可得：

 

注：结合起来理解：

 

目标函数是一个凸函数，对目标函数求导，导数等于0的点是最优点：

 

 

 

注意：

 

岭回归的推导与介绍，比较全面：https://www.jianshu.com/p/1677d27e08a7