线性回归 Linear Regression

线性回归的预设

• 线性

  只能通过每个样本各维的线性组合获得预测结果，这使得函数很简单，但拟合能力较弱。

• 同方差性

  每个样本的方差不变。方差不同会使得拟合函数对某些数据敏感性有差异。

• 独立性

  每个样本独立于其他样本

• 固定特征

  特征数是固定的

• 非多重共线性

  特征直接不能存在线性关系

$$\begin{array}{rl}y& =\sum _i{w}^{(i)}{\varphi }_i(xx)+ϵ=w{w}^T\varphi \varphi (xx)+ϵ\\ J(ww;x_i{x}_i,y_i)& =\sum _i(y_i-{\hat{y}}_i{)}^2=\sum _i{(y_i-\sum _j{w}^{(j)}{\varphi }_j(x_i{x}_i))}^2\end{array}$$

$xx$ 经过 $j$ 个基函数（basis function） ${\varphi }_j$ 转为新的 $j$ 维样本，同样是线性回归方程。经过变化后的方程对 $\varphi (xx)$ 是线性回归，但对 $xx$ 来说不是了，可以更好地拟合非线性函数。

常用基函数

• $\varphi (x)=x^p$；
• $\varphi (x;\mu ,\sigma )=\exp \left(\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$；
• $\varphi (x;s)=\frac{1}{1+\exp (-sx)}$；
• $\varphi (x)=\ln (x+1)$；
• $\varphi (x)=11_{\mathcal{X}}(x)=\{\begin{array}{l}1,x\in \mathcal{X}\\ 0,x\notin \mathcal{X}\end{array}$；
• $\varphi (x)=\{\begin{array}{l}\sin n\pi x\\ \cos n\pi x\end{array}$。

比如对 $xx=\{x^{(1)},x^{(2)}\}$ 使用多项式转换，并令最大次数为 2，得 $\varphi \varphi (xx)=\{{\varphi }_1(xx),\dots ,{\varphi }_j(xx)\}=\{1,x^{(1)},x^{(2)},x^{(1)}{x}^{(2)},[x^{(1)}{]}^2,[x^{(2)}{]}^2\}$

随着多项式最大次数的提高，通过基函数转换而来的新向量的维数呈几何式增长。

最小二乘估计和最小二乘反演

依照 $\mathrm{\Phi }\mathrm{\Phi }$ 左逆和右逆的存在情况。

$$\begin{array}{rlrl}& & \mathrm{\Phi }\mathrm{\Phi }& =\left(\begin{array}{cccc}{\varphi }_0(x_1{x}_1)& {\varphi }_1(x_1{x}_1)& \dots & {\varphi }_j(x_1{x}_1)\\ {\varphi }_0(x_2{x}_2)& {\varphi }_1(x_2{x}_2)& \dots & {\varphi }_j(x_2{x}_2)\\ ⋮& ⋮& \ddots & ⋮\\ {\varphi }_0(x_i{x}_i)& {\varphi }_1(x_i{x}_i)& \dots & {\varphi }_j(x_i{x}_i)\end{array}\right)\\ & & \widehat{yy}& =\mathrm{\Phi }\mathrm{\Phi }\cdot ww\\ \text{let}& & {\mathrm{\nabla }}_{ww}J(ww;X,yy)& ={\mathrm{\nabla }}_{ww}||yy-\widehat{yy}|{|}^2=2{\mathrm{\Phi }\mathrm{\Phi }}^T(\mathrm{\Phi }\mathrm{\Phi }ww-yy)=0\\ \text{then}& & ww& =({\mathrm{\Phi }\mathrm{\Phi }}^T\mathrm{\Phi }\mathrm{\Phi }{)}^{-1}{\mathrm{\Phi }\mathrm{\Phi }}^{T}yy\end{array}$$

$$\begin{array}{rlrl}& & yy& =\mathrm{\Phi }\mathrm{\Phi }ww\\ & & (\mathrm{\Phi }\mathrm{\Phi }\mathrm{\Phi }{\mathrm{\Phi }}^T)(\mathrm{\Phi }\mathrm{\Phi }\mathrm{\Phi }{\mathrm{\Phi }}^T{)}^{-1}yy& =\mathrm{\Phi }\mathrm{\Phi }ww\\ & & \mathrm{\Phi }\mathrm{\Phi }\mathrm{\Phi }{\mathrm{\Phi }}^T(\mathrm{\Phi }\mathrm{\Phi }\mathrm{\Phi }{\mathrm{\Phi }}^T{)}^{-1}yy& =\mathrm{\Phi }\mathrm{\Phi }ww\\ & & w{w}_{mn}& =\mathrm{\Phi }{\mathrm{\Phi }}^T(\mathrm{\Phi }\mathrm{\Phi }\mathrm{\Phi }{\mathrm{\Phi }}^T{)}^{-1}\cdot yy\\ \text{let }w{w}_0\text{ be another the solution to}& & yy& =\mathrm{\Phi }\mathrm{\Phi }ww\\ \text{then}& & \mathrm{\Phi }\mathrm{\Phi }(w{w}_0-w{w}_{mn})& =0\\ \text{and}& & (w{w}_0-w{w}_{mn}{)}^{T}w{w}_{mn}& =(w{w}_0-w{w}_{mn}{)}^T\mathrm{\Phi }{\mathrm{\Phi }}^T(\mathrm{\Phi }\mathrm{\Phi }\mathrm{\Phi }{\mathrm{\Phi }}^T{)}^{-1}yy\\ & & & =0\\ \text{i.e.}& & (w{w}_0-w{w}_{mn})& \mathrm{\perp }w{w}_{mn}\\ \text{so}& & ||w{w}_0|{|}^2& =||w{w}_{mn}+w{w}_0-w{w}_{mn}|{|}^2\\ & & & =||w{w}_{mn}|{|}^2+||w{w}_0-w{w}_{mn}|{|}^2\\ & & & \ge ||w{w}_{mn}|{|}^2\\ \text{therefore}& & ||w{w}_{mn}|{|}^2& \text{ has minimum norm}\end{array}$$

$$\begin{array}{rl}ww& =\{\begin{array}{ll}({\mathrm{\Phi }\mathrm{\Phi }}^T\mathrm{\Phi }\mathrm{\Phi }{)}^{-1}{\mathrm{\Phi }\mathrm{\Phi }}^{T}yy& \text{left inverse}\\ {\mathrm{\Phi }\mathrm{\Phi }}^T(\mathrm{\Phi }\mathrm{\Phi }{\mathrm{\Phi }\mathrm{\Phi }}^T{)}^{-1}yy& \text{right inverse}\end{array}\end{array}$$

值得注意的是，在左逆中 $\widehat{yy}=\mathrm{\Phi }\mathrm{\Phi }ww$，而在右逆中 $yy=\mathrm{\Phi }\mathrm{\Phi }ww$；左逆中使用 ${\mathrm{\nabla }}_{ww}J$，而右逆中使用 $yy=\mathrm{\Phi }\mathrm{\Phi }ww$。

这是因为左逆中样本数量通常远大于特征数量，我们希望 $\mathrm{\Phi }\mathrm{\Phi }$ 变换能够完成从低维空间向量 $ww$ 到高维空间向量 $yy$ 的变换，但这种变换因为维数差异不一定能完成，所以 $ww$ 只能变换为 $\widehat{yy}$，而衡量 $yy,\widehat{yy}$ 之间的差异的就是损失函数。令损失函数最小化则是让变换的差异尽可能缩小。

而右逆中则是特征数量大于样本数量， $\mathrm{\Phi }\mathrm{\Phi }$ 变换是从高维空间向量 $ww$ 到低维空间向量 $yy$ 的变换，这个变换必定有解，而且可能不止一个。$w{w}_{mn}=\mathrm{\Phi }{\mathrm{\Phi }}^T(\mathrm{\Phi }\mathrm{\Phi }\mathrm{\Phi }{\mathrm{\Phi }}^T{)}^{-1}\cdot yy$ 这个相等其实是在 $\mathrm{\Phi }\mathrm{\Phi }$ 变换下的具有最小范数的向量。取得这个最小范数的关键在于 $w{w}_{mn}$ 处于 $\mathrm{\Phi }{\mathrm{\Phi }}^T$ 的线性空间中，即 存在 $w{w}_{mn}=\mathrm{\Phi }{\mathrm{\Phi }}^{T}bb,bb=(\mathrm{\Phi }\mathrm{\Phi }{\mathrm{\Phi }\mathrm{\Phi }}^T{)}^{-1}yy$。从图形上看，$w{w}_{mn}$ 映射到 $yy$ 是直接投影，$w{w}_0-w{w}_{mn}$ 则是与 $\mathrm{\Phi }{\mathrm{\Phi }}^T$ 正交的向量，总是投影到零空间，因此与 $w{w}_{mn}$ 相加不改变投影结果，但会增加范数。

$$\begin{array}{rl}A.shape& =(m,n)\\ \mathrm{rank}(AA)& =m,\text{ i.e., }AA\text{ is of full row-rank}\\ \mathrm{rank}(AA)& =n,\text{ i.e., }AA\text{ is of full column-rank}\\ \mathrm{rank}(AA)& =m⟹\mathrm{rank}(AAA{A}^T)=m\\ \mathrm{rank}(AA)& =n⟹\mathrm{rank}(A{A}^{T}AA)=n\end{array}$$

梯度下降法

使用 Mean-Squared-Error (MSE) 作为损失函数，损失为 $ϵ$

$$\begin{array}{rl}{ϵ}_i& =\frac{1}{2}{(y^{(i)}-[\varphi {\varphi }^{(i)}{]}^{T}ww)}^2\\ & =\frac{1}{2}([y^{(i)}{]}^2-2y^{(i)}[\varphi {\varphi }^{(i)}{]}^{T}ww+{ww}^T\varphi {\varphi }^{(i)}[\varphi {\varphi }^{(i)}{]}^{T}ww)\\ ϵ& =E[{ϵ}_i]\\ & =\frac{1}{2}E[[y^{(i)}{]}^2]-E[y^{(i)}[\varphi {\varphi }^{(i)}{]}^T]+\frac{1}{2}{ww}^{T}E[\varphi {\varphi }^{(i)}[\varphi {\varphi }^{(i)}{]}^T]ww\end{array}$$

$E$ 为求样品平均的函数，比如 $E[[y^{(i)}{]}^2]\to \frac{1}{N}\sum _{i=1}^N[y^{(i)}{]}^2$

$$\begin{array}{rl}\text{let }& C=E[[y^{(i)}{]}^2],P^T=E[y^{(i)}[\varphi {\varphi }^{(i)}{]}^T],R=E[\varphi {\varphi }^{(i)}[\varphi {\varphi }^{(i)}{]}^T]\\ ϵ& =E[{ϵ}_i]=\frac{1}{2}C-P^{T}ww+\frac{1}{2}{ww}^{T}Rww\end{array}$$

对每个样本损失 $ϵ$，求其关于 $ww$ 的梯度 ${\mathrm{\nabla }}_{ww}ϵ=-P+\frac{1}{2}(R+R^T)ww\stackrel{R\mathrm{对}\mathrm{称}}{=}-P+Rww$

令 $ww\leftarrow ww-\eta {\mathrm{\nabla }}_{ww}ϵ$，其中 $\eta$ 为超参数学习率，则完成一步梯度下降。

也可使用 $ww=R^{-1}P$ 直接得出结果，但实际情况中不一定能得出 $R,P$（数据集不完全 / 数据集太大放不进内存），而且这也只是损失函数为 MSE 的情况。（后面使用递归最小二乘可以使用这个方法）

${\mathrm{\nabla }}_{xx}{xx}^{T}aa={\mathrm{\nabla }}_{xx}{aa}^{T}xx=aa$

${\mathrm{\nabla }}_{xx}{xx}^{T}AAxx=(AA+{AA}^T)xx\stackrel{A\text{ 为对称矩阵}}{=}2AAxx$

由所使用的训练集的大小，可以区分出三种梯度下降法：BGD、SGD、Mini Batch GD。

• BGD 需要提前获得所有训练集，但是对于某些模型，需要边训练边使用，在使用的过程中收集数据，而且一般数据集也是比较大的；
• SGD 是边训练边使用的模式，随着训练集的增加慢慢学习，因为不能获得所有数据所以无法计算 $R,P$；
• Mini Batch GD 接近 SGD，但是使用每次训练时更大的数据集。

如果在 SGD 或 Mini Batch GD 尝试用不完全的训练集来计算 $R,P$ 直接获得 $w{w}^{\ast }=\underset{ww}{\arg min}(ϵ)=R^{-1}P$，那么只能达到这些不完全的训练集最小 $w{w}^{\ast }$，而不是整个训练集的 $w{w}^{\ast }$。

递归最小二乘法

$$\begin{array}{rl}Y{Y}_i& =\left(\begin{array}{c}{y}^{(0)}\\ y^{(1)}\\ ⋮\\ y^{(i)}\end{array}\right),H{H}_i=\left(\begin{array}{c}h{h}_0^T\\ h{h}_1^T\\ ⋮\\ h{h}_i^T\end{array}\right),V{V}_i=\left(\begin{array}{c}{v}^{(0)}\\ v^{(1)}\\ ⋮\\ v^{(i)}\end{array}\right),\\ Y{Y}_i& =H{H}_{i}X{X}_i+V{V}_i\\ {\widehat{XX}}_i& =(H{H}_i^{T}H{H}_i{)}^{-1}H{H}_i^{T}Y{Y}_i\stackrel{M{M}_i=(H{H}_i^{T}H{H}_i{)}^{-1}}{=}M{M}_{i}H{H}_i^{T}Y{Y}_i,\\ \text{notice that }& H{H}_i^{T}H{H}_i=H{H}_{i-1}^{T}H{H}_{i-1}+h{h}_{i}h{h}_i^T,\\ \text{therefore, }& M{M}_i=(M{M}_{i-1}^{-1}+h{h}_{i}h{h}_i^T{)}^{-1}=M{M}_{i-1}-\frac{M{M}_{i-1}h{h}_{i}h{h}_i^{T}M{M}_{i-1}}{I{I}_i+h{h}_i^{T}M{M}_{i-1}h{h}_i}\\ {\widehat{XX}}_i& =M{M}_{i}H{H}_i^{T}Y{Y}_i\\ & =(M{M}_{i-1}-\frac{M{M}_{i-1}h{h}_{i}h{h}_i^{T}M{M}_{i-1}}{I{I}_{i-1}+h{h}_i^{T}M{M}_{i-1}h{h}_i})(H{H}_{i-1}^{T}Y{Y}_{i-1}+h{h}_i{y}^{(i)})\\ & ={\widehat{XX}}_{i-1}+\frac{M{M}_{i-1}h{h}_i}{I{I}_{i-1}+h{h}_i^{T}M{M}_{i-1}h{h}_i}(y^{(i)}-h{h}_i^T{\widehat{XX}}_{i-1})\end{array}$$

使用递归最小二乘则可以使用 $ww=R^{-1}P$ 求解。

$$\begin{array}{rl}{P}_N^T& =E[y^{(i)}[\varphi {\varphi }^{(i)}{]}^T]\\ & =\frac{1}{N}\sum _{i=1}^N{y}^{(i)}[\varphi {\varphi }^{(i)}{]}^T\\ & =\frac{1}{N}{Y}_N^T{\mathrm{\Phi }}_N=\frac{1}{N}[(N-1)P_{N-1}^T+\varphi {\varphi }_N{y}^{(N)}]\\ R_N& =E[\varphi {\varphi }^{(i)}[\varphi {\varphi }^{(i)}{]}^T]\\ & =\frac{1}{N}\sum _{i=1}^N\varphi {\varphi }^{(i)}[\varphi {\varphi }^{(i)}{]}^T\\ & =\frac{1}{N}{\mathrm{\Phi }}_N^T{\mathrm{\Phi }}_N=\frac{1}{N}[(N-1)R_{N-1}+\varphi {\varphi }_N\varphi {\varphi }_N^T]\end{array}$$

$AA={BB}^{-1}+CC{DD}^{-1}{CC}^T⟹{AA}^{-1}=BB-BBCC(DD+{CC}^{T}BBCC{)}^{-1}{CC}^{-1}BB$

$(AA+BBCCDD{)}^{-1}={AA}^{-1}-{AA}^{-1}BB({CC}^{-1}+DD{AA}^{-1}BB{)}^{-1}DD{AA}^{-1}$