吴恩达机器学习（7） 正则方程（区别于迭代方法的直接解法）

1.可以通过一些数学方程进行直接求解

 

 

 近似于最小二乘法

2.矩阵不可逆

原因：

　　（1）方阵中的两个维度间存在线性变换关系，导致方阵不满秩（奇异矩阵）

　　 (2) 特征数量相对于样本数量过大，导致产生的其次方程组不存在唯一解

 

　　（3） 解决办法

　　　　（1）删除某些特征

　　　　（2）使用正则化的方法，增加更多参数

 

 3. 奇异矩阵

首先，看这个矩阵是不是方阵（即行数和列数相等的矩阵，若行数和列数不相等，那就谈不上奇异矩阵和非奇异矩阵）。然后，再看此矩阵的行列式|A|是否等于0，若等于0，称矩阵A为奇异矩阵；若不等于0，称矩阵A为非奇异矩阵。 同时，由|A|≠0可知矩阵A可逆，这样可以得出另外一个重要结论:可逆矩阵就是非奇异矩阵，非奇异矩阵也是可逆矩阵。 如果A为奇异矩阵，则AX=0有无穷解，AX=b有无穷解或者无解。如果A为非奇异矩阵，则AX=0有且只有唯一零解，AX=b有唯一解