正规方程法
正规方程法是利用矩阵求解的
公式为θ=(X^TX)^-1X^Ty
Octave:pinv(x'*x)*x'*y
正规方程法不需要特征缩放
设计矩阵
有m个样本(x^(1),y^(1)),.....,(x^(m),y^(m));n个特征
x(i) 的维度是n+1,向量里是n+1个的特征向量,X是m个x(i) 的转置矩阵
对比一下正规方程法与梯度下降的优缺点
梯度下降 | 正规方程 |
优:当特征数量很多时 也能很快的拟合好 |
优:不需要学习率α |
缺:需要学习率α 为了找到合适的α 需要运行很多次 |
缺:如果特征n的的数量很大 x的维度也会很大,需要很多 时间来计算(XTX)-1 |
当XTX不可逆时,我们首先可以查看所有的特征,看是否有特征线性相关,如果有,二者删齐一;然后看是否有太多的特征,可以选择一些不影响的特征删除