线性回归-多元线性回归

符号	定义
\(D\)	\(数据集,一个m\times (d+1)大小的矩阵X\)
\(m\)	\(样本量\)
\(d\)	\(维度,不含偏置项\)
\(X=\begin{pmatrix}x_{11} & x_{12} & ... & x_{1d} & 1 \\x_{21} & x_{22} & ... & x_{2d} & 1 \\...& ... & ... & ... & ... \\x_{m1} & x_{m2} & ... & x_{md} & 1 \\\end{pmatrix}=\begin{pmatrix}x_{1}^T & 1 \\x_{2}^T & 1 \\...& ... \\x_{m}^T & 1 \\\end{pmatrix}\)	\(样本矩阵\)
\(y=\begin{pmatrix}y_{1} \\y_{2} \\... \\y_{m} \\\end{pmatrix}\)	\(目标向量\)
\(\hat w = (w;b)\in R^{d+1}\)	\(回归系数向量\)

1.多元线性回归模型

\(f(x_i)=w^Tx_i+b,使得f(x_i)\approx y_i\)
\(\hat w^*=argmin_{w}(y-X\hat w)^T(y-X\hat w)\)

2.多元线性回归的解析解

\(令E_{\hat w}=(y-X\hat w)^T(y-X\hat w)\)
\(求偏导 \frac{\partial E_{\hat w}}{\partial \hat w}=2X^T(X\hat w -y)\)
\(令\frac{\partial E_{\hat w}}{\partial \hat w} =0 即可求到最优解\)

---

\(当X^TX为满秩矩阵或者正定矩阵,可得\hat w^*=(X^TX)^{-1}X^Ty,令\hat x_i = (x_i,1),最最终回归模型为f(\hat x_i)=\hat x_i ^T (X^TX)^{-1}X^Ty\)

\(若不满秩,一般做法是引入正则化项\)

3.模型检验

\(F检验时对整体回归方程显著性的检验,即所有变量对被解释变量的显著性检验\)
\(构造统计量F\)
\(F=\frac{SSR/k}{SSE/(n-k-1)}=\frac{MSR}{MSE}\sim F(k,n-k-1)\)

4. 算法实践

4.1 梯度下降法

利用梯度公式
\(\frac{\partial E_{\hat w}}{\partial \hat w}=2X^T(X\hat w -y)\)
其中样本X的大小随着算法(随机梯度，批量梯度，小批量梯度)的不同有所不同

思路
1.