线性模型——1.线性回归

目录

1. 模型
2. 策略：最小二乘法
3. 算法：闭式解以及梯度下降法公式推导
4. 正则化：Lasso和Ridge回归
5. Numpy代码实现
6. sklearn调用

模型
线性回归试图学得一个通过属性的线性组合来尽可能准确地预测实值输出标记的函数，即$f\left( \mathbf{x} \right) =\mathbf{w}^{\intercal } \mathbf{x} +b$，$\mathbf{w}$和b学得之后，模型就得以确定

策略
显然我们希望预测出的$f\left( \mathbf{x} \right)$与y之间的差别越小越少，在回归任务中我们通常选择均方误差作为度量模型性能的标准，因此我们可以使试图让均方误差最小化，即

$$\left( \mathbf{w}^{\ast } ,b^{\ast }\right) =\arg \min_{\left( \mathbf{w} ,b\right) } \left( \sum^{m}_{i=1} \left( f\left( \mathbf{x}_{i} -y_{i}\right) \right) \right)$$

，由此，我们也得到了线性回归的损失函数（目标函数）

算法
1.因为以上损失函数

$$E_{\left( \mathbf{w} ,b\right) }=\sum^{m}_{i=1} \left( f\left( \mathbf{x}_{i} \right) -y_{i}\right)$$

是关于$\mathbf{w}$和b的凸函数，所以通过令导数为0可以求得最优解的闭式解，下面推导矩阵形式的闭式解

2.梯度下降法
但在实际情况中，更常用的方法是梯度下降法（gradient descent，GD）(待补充)

正则化
Numpy代码实现线性回归（待补充）

sklearn调用
（待补充）

参考资料
1.《机器学习》，周志华
2.《机器学习实战：基于Scikit-Learn、Keras和TensorFlow》(原书第二版)