线性回归和逻辑回归的正则化regularization
线性回归
介绍
为了防止过度拟合，正则化是一种不错的思路。能够使得获得的边界函数更加平滑。更好的模拟现实数据，而非训练样本。
方法
可以说，regularization是添加惩罚，使得参数
接近于零，这里1<=j<=n，也即不对
进行regularization。
正规化后的代价函数
。则该代价函数梯度见图一中（1-1）。
对于使用梯度下降算法，其梯度的矢量表达见图一中（1-2）。
对于线性回归的正规方程推导过程见图一
逻辑回归
同样的，逻辑回归同样需要加入惩罚项。
则逻辑回归的代价函数为
逻辑回归的梯度为
令
=[0;
(2:n)]则
其矢量表达为:
。
matlab实现
逻辑回归部分matlab实现见网盘http://pan.baidu.com/s/1kT1Tvqn
