标准方程法（正规方程法）

为了求得参数θ，也可以不用迭代的方法（比如梯度下降法对同一批数据一直迭代），可以采用标准方程法一次性就算出了θ，而且还不用feature scaling（如果feature不多的话，比如一万以下，用这种方法最好）。

标准方程法介绍：

（1）

这里面，X的第一列是人为添加的，为了方便运算的，都置为1，后面才是真正的特征。

（2）

下面是样本对应的输出：

（3）

设拟合函数为： h(x) = θ0 * x0 + θ1 * x1 .... + θn * xn  ( 其中x0 = 1)

（4）

采用均方误差定好代价函数

最终结果 ：

 

 

证明：

要使得J最小，则有J对θ的导数=0，则

 

证完。

补充：

若不可逆，则

1）可能是有两列是线性相关的，那么就删除一个特征；

2）可能是特征值过多，则删除一些特征值。