线性回归(最小二乘，)

1.

如果有一个新的面积，假设在销售价钱的记录中没有的，而我们又想知道房屋的售卖价格，我们怎么办呢？图中绿色的点就是我们想要预测的点。

假设我们知道了红色的这条直线，那么给出房屋的面积，马上就可以给出房屋的售价。因此，我们需要找到这样的一条红色直线。

2.模型建立

刚才我们认为房屋的售价只与面积相关。实际生活中，影响房价的因素非常多，如房屋的面积、朝向、所在小区、房间的个数等。考虑更多的情况，我们用x1，x2...xn 去描述这些影响房屋售价的因素，这些影响因素在机器学习中称为特征。如x1=房间的面积，x2=房间的朝向等等。考虑两个变量，我们可以做出一个估计函数：

θ在这里称为参数，θ作用可以调整房屋售价的各种因素的作用大小。换句话说影响房屋售价的因素是房屋的面积更重要还是房间朝向更重要。

我们令x0 = 1，就可以用向量的方式来表示了

在上式中，一旦θ确定，那么我们的直线也就确定了，我们就能够对房价进行预测了。因此我们要做的工作是确定θ。

θ的值可以有无数个，我们应该如何选取θ呢？

3.模型建立—最小二乘法

 

上式中只有θ是未知数，如何求解函数的最小值。通常做法，对目标函数求导，令导数为0，求得的点，即为极值点，如果函数在定义域内是凸函数，那么极值点就是最值点。上述方法即是最小二乘法的思路。

 

4.就函数极值：

1.梯度下降法

2.批处理梯度下降法

3.随机梯度下降法