对于线性回归,我们已经推导了两种算法:(1)基于梯度下降(2)基于正规方程
(1)将梯度下降法运用到线性回归正则化
常规的梯度下降法(将θ_0分离出来,因为之后对梯度下降法进行修改时会对θ_0区别对待):
用正则化对梯度下降法进行修改:
每次迭代时,都将θ_j乘以一个比1略小的数,然后进行和之前一样的操作 ,从而达到对代价函数的梯度下降
(2)将正规方程法运用到线性回归正则化