线性回归原理总结

基本形式

线性回归（linear regression）通过学习获得一个线性模型以尽可能准确地预测实际标签值。对于具有m个样本的数据集，给定 $n$ 个特征，其线性回归模型如下：

$h (x) = θ_{0} + θ_{1} x_{1} + θ_{2} x_{2} + . . . + θ_{n} x_{n} = \sum_{i = 0}^{n} θ_{i} x_{i}$ 其中， $h (x)$ 表示用来预测的假设函数，通过此函数输出一组连续型标签值； $x_{i} (i = 1, 2, . . ., n)$ 表示每个样本在第 $i$ 个特征上的取值； $θ_{i} (i = 1, 2, . . ., n)$ 为模型参数， $θ_{0}$ 表示截距， $θ_{1}$ ~ $θ_{n}$ 称为系数。

一般向量形式为

$h (x) = [θ_{0}, θ_{1}, θ_{2}, . . ., θ_{n}] * [\begin{array}{cc} x_{0} \\ x_{1} \\ x_{2} \\ . . . \\ x_{n} \end{array}] = θ^{T} x$ $(x_{0} = 1)$ ,其中 $θ$ 和 $x$ 均为(n+1)x1向量

损失函数

损失函数用来衡量模型参数 $θ$ 的优劣，即评估真实值与预测值的误差，是求解最优参数的工具。损失函数最小时，模型在训练集上的表现最好，对应的模型参数最优。

在线性回归中，一般采用均方误差( $\frac{1}{m} \sum_{i = 1}^{m} (h (x)^{(i)} - y^{(i)})^{2}$ )作为性能度量。损失函数形式如下：

$J (θ) = \frac{1}{2 m} \sum_{j = 1}^{m} (h (x)^{(j)} - y^{(j)})^{2}$ 代数式2-1，其中， $m$ 是样本数， $j = 1, 2, . . ., m$ ， $h (x)^{(j)}$ 和 $y^{(j)}$ 分别表示第 $j$ 个样本对应的预测值和实际标签值

将所有样本的特征和标签分别以矩阵形式表示： $X = [\begin{array}{cc} 1 & x_{1}^{(1)} & x_{2}^{(1)} & . . . & x_{n}^{(1)} \\ 1 & x_{1}^{(2)} & x_{2}^{(2)} & . . . & x_{n}^{(2)} \\ . & . & . & . . . & . \\ 1 & x_{1}^{(m)} & x_{2}^{(m)} & . . . & x_{n}^{(m)} \end{array}]$ , $Y = [\begin{array}{cc} y^{(1)} \\ y^{(2)} \\ . . . \\ y^{(m)} \end{array}]$ ，则损失函数 $J (θ)$ 为： $J (θ) = \frac{1}{2 m} (X θ - Y)^{T} (X θ - Y)$ 矩阵形式2-2

注：线性回归的损失函数是凸函数。关于损失函数的具体形式，不同书籍、网页资料、教程会有所不同，区别在于是否添加系数 $\frac{1}{2}$ 或者 $\frac{1}{2 m}$ 或者 $\frac{1}{m}$ ，这里不必纠结，看个人爱好，因为系数只是影响了极值的大小，与损失函数取极值时的模型参数没有关系。而我们关心的是损失函数取极值时对应的模型参数。

损失函数的优化

1.最小二乘法（用途广泛，不仅限于线性回归）

基于均方误差最小化来进行模型参数求解的方法称为"最小二乘法"（least square method），就是试图找到一条直线（或一个超平面），使所有样本到直线（或超平面）上的欧式距离之和最小（注：均方误差等于最小二乘法除以样本数m）。

代数法求解

那么，最小二乘法如何才能使 $J (θ)$ 最小呢？也就是说，一组 $θ_{i} (i = 0, 1, 2, . . ., n)$ 分别取哪些值时对应的 $J (θ)$ 值最小？学过微积分的同学应该很容易想到答案—对 $θ_{i} (i = 0, 1, 2, . . ., n)$ 分别取偏导，并令偏导数为0，得到一个含 $n + 1$ 个方程的 $n + 1$ 元一次方程组，求解便可得到 $θ_{i} (i = 0, 1, 2, . . ., n)$ 的值，如下：

首先把损失函数 $J (θ)$ 代数式化简 $J (θ) = \frac{1}{2 m} \sum_{j = 1}^{m} (h (x)^{(j)} - y^{(j)})^{2} = \frac{1}{2 m} \sum_{j = 1}^{m} (\sum_{i = 0}^{n} θ_{i} x_{i}^{(j)} - y^{(j)})^{2}$ 2-3

对 $θ_{i}$ 求导，并令导数为0，可得 $\frac{1}{m} \sum_{j = 1}^{m} (\sum_{i = 0}^{n} θ_{i} x_{i}^{(j)} - y^{(j)}) x_{i}^{(j)} = 0$ 2-4

矩阵法求解

目前，机器学习中用到最小二乘法时，绝大多数都是利用矩阵进行求解。下面讲解比较简洁的矩阵法来求解最小二乘法，如下：

首先把损失函数 $J (θ)$ 化简 $J (θ) = \frac{1}{2 m} (X θ - Y)^{T} (X θ - Y)$

$= \frac{1}{2 m} ((X θ)^{T} - Y^{T}) (X θ - Y)$

$= \frac{1}{2 m} ((X θ)^{T} X θ - (X θ)^{T} Y - Y^{T} (X θ) + Y^{T} Y)$

$= \frac{1}{2 m} (θ^{T} X^{T} X θ - 2 (X θ)^{T} Y + Y^{T} Y)$

对 $θ$ 求导: $\frac{\partial J (θ)}{\partial θ} = \frac{1}{m} (X^{T} X θ - X^{T} Y)$ 公式2-5

当 $X^{T} X$ 为满秩矩阵时，令公式2-5等于0可得 $θ = (X^{T} X)^{- 1} X^{T} Y$

涉及到的矩阵运算公式

$(A \pm B)^{T} = A^{T} \pm B^{T}$

$(A B)^{T} = B^{T} A^{T}$

对于任意两个列向量 $A$ 和 $B$ ， $A^{T} B = B^{T} A$

若矩阵 $A$ 可逆， $A^{- 1} A = I$ 或 $A A^{- 1} = I$ ，其中 $I$ 为单位矩阵

最小二乘法的应用条件和局限性

$X^{T} X$ 必须可逆。对于特征数目 $n + 1$ 大于样本数 $m$ 的情况，会导致 $X$ 的列数多于行数， $X^{T} X$ 不是满秩，故不能用最小二乘法。
建议样本特征<10000时，使用最小二乘法。因为当特征n非常大时，计算 $X^{T} X$ 的逆矩阵比较耗时。
拟合函数必须是线性的。

2.梯度下降法

注：由于线性回归的损失函数是凸函数，梯度下降得到的解一定是全局最优解。

$θ_{i} = θ_{i} - α \frac{\partial J (θ)}{\partial θ_{i}} = θ_{i} - α \frac{1}{m} \sum_{j = 1}^{m} (\sum_{i = 0}^{n} θ_{i} x_{i}^{(j)} - y^{(j)}) x_{i}^{(j)}$ 代数迭代公式2-6

$θ = θ - α \frac{\partial J (θ)}{\partial θ} = θ - α \frac{1}{m} X^{T} (X θ - Y)$ 矩阵迭代公式2-7，

涉及到的矩阵运算公式

$\frac{\partial (X^{T} X)}{\partial X} = 2 X$

$\frac{\partial (A^{T} X)}{\partial X} = \frac{\partial (X^{T} A)}{\partial X} = A$ ，其中 $A$ 为常数矩阵

正则化

为了防止模型过拟合，通常需要引入正则项，实现方式是原损失函数 $J (θ)$ +正则项生成一个正则化后的损失函数 $J (θ)_{L}$ 。

常见的正则化方式有两种：L1和L2。其中L1正则项是指参数向量中每个参数的绝对值之和，L2为参数向量中每个参数的平方和。L1正则化可以使得参数稀疏化，即得到一个稀疏矩阵（很多参数压缩为0），也可以用于特征选择。L2正则化只会让参数尽量小，不会取到0。在线性回归模型中，L1正则化叫做Lasso回归，L2正则化的叫做Ridge回归（岭回归）。

$J (θ)_{L 1} = J (θ) + C | | θ | |_{1}$ L1正则化3-1 其中 $C$ 为常数系数， $| | θ | |_{1}$ 为L1范式