回归分析 3.X 多元线性回归

多元线性回归模型

参数估计

模型表示

我们先将模型

$$y_i={\beta }_0+{\beta }_1{x}_{i1}+\cdots +{\beta }_p{x}_{ik}+{ϵ}_i,i=1,\cdots ,n$$

表示为下列矩阵形式

$$\mathbf{y}=\mathbf{X}\mathit{\beta }+\epsilon$$

其中

$$\begin{array}{rl}\mathbf{y}& =\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right],\mathbf{X}=\left[\begin{array}{ccccc}1& x_{11}& x_{12}& \cdots & x_{1k}\\ 1& x_{21}& x_{22}& \cdots & x_{2k}\\ ⋮& ⋮& ⋮& & ⋮\\ 1& x_{n1}& x_{n2}& \cdots & x_{nk}\end{array}\right]\\ \mathit{\beta }=\left[\begin{array}{c}{\beta }_0\\ {\beta }_1\\ ⋮\\ {\beta }_k\end{array}\right],\mathit{\epsilon }=\left[\begin{array}{c}{\epsilon }_1\\ {\epsilon }_2\\ ⋮\\ {\epsilon }_n\end{array}\right]\end{array}$$

将上述表示里的 $\beta$ 换成 $\hat{\beta }$ , 则就得到相应的拟合值向量和残差向量

$$\hat{\mathbf{y}}=\mathbf{X}\hat{\beta },\hat{\epsilon }=\mathbf{y}-\hat{\mathbf{y}}$$

于是前面的残差平方和就可以表示为

$$S(\beta )=\sum _{i=1}^n{\epsilon }_i^2={\epsilon }^{\prime }\epsilon =(\mathbf{y}-\mathbf{X}\beta {)}^{\prime }(\mathbf{y}-\mathbf{X}\beta )={\mathbf{y}}^{\prime }\mathbf{y}-2{\beta }^{\prime }{\mathbf{X}}^{\prime }\mathbf{y}+{\beta }^{\prime }{\mathbf{X}}^{\prime }\mathbf{X}\beta$$

求解

经过优化得到 $\beta$ 的闭式解
${\mathbf{X}}^{\prime }\mathbf{X}\hat{\beta }={\mathbf{X}}^{\prime }\mathbf{y}\Rightarrow \hat{\beta }={\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\prime }\mathbf{y}$

拟合值向量

拟合值向量为
$\hat{y}=\mathbf{X}\hat{\beta }=\mathbf{X}{\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\prime }y=Hy$

$H$ 为投影矩阵, $Hy$ 相当于把 $y$ 投影到平面

估计的置信区间

由于

$$\frac{{\hat{\beta }}_j-{\beta }_j}{\text{ s.e. }\left({\hat{\beta }}_j\right)}\sim t_{n-k-1}$$

所以 ${\beta }_j$ 的 $1-\alpha$ 置信区间为
${\hat{\beta }}_j\pm t_{n-k-1}(1-\alpha /2)\cdot \text{ s.e. }\left({\hat{\beta }}_j\right)$

估计的性质

误差的期望与方差：
$E(\epsilon )=\mathbf{0},Cov(\epsilon )={\sigma }^2{I}_n$

无偏性

由于
$\hat{\mathit{\beta }}={\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\prime }\mathbf{y}={\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\prime }(\mathbf{X}\mathit{\beta }+\mathit{\epsilon })=\mathit{\beta }+{\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\prime }\epsilon$
所以
$E(\hat{\beta })=\beta +{\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\prime }E(\epsilon )=\beta$, 为线性估计

方差

因为
$\hat{\mathit{\beta }}-E(\hat{\mathit{\beta }})=\hat{\mathit{\beta }}-\mathit{\beta }={\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\prime }\epsilon$
所以
$(\hat{\mathit{\beta }}-E(\hat{\mathit{\beta }}))(\hat{\mathit{\beta }}-E(\hat{\mathit{\beta }}){)}^{\prime }={\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\prime }\epsilon {\epsilon }^{\prime }\mathbf{X}{\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}$
协方差为

$$\begin{array}{c}\mathrm{Cov}(\hat{\mathit{\beta }})={\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\prime }E\left(\epsilon {\epsilon }^{\prime }\right)\mathbf{X}{\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}\\ ={\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\prime }{\sigma }^2{I}_n\mathbf{X}{\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}={\sigma }^2{\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}\end{array}$$

回归方差的估计

因为

$$\begin{array}{c}\hat{\epsilon }=y-\hat{y}\\ =y-Hy\\ =(I-H)y\\ =(I-H)(X\beta +\epsilon )\\ =X\beta -X(X^{\prime }X{)}^{-1}{X}^{\prime }X\beta +(I-H)\epsilon \\ =(I-H)\epsilon \end{array}$$

有

$$\begin{array}{rl}E(S{S}_{res})& ={\hat{\epsilon }}^{\mathrm{\top }}\hat{\epsilon }\\ & ={\epsilon }^{\mathrm{\top }}(I-H{)}^{\mathrm{\top }}(I-H)\epsilon \\ & ={\epsilon }^{\mathrm{\top }}(I-H)\epsilon \end{array}$$

所以

$$\begin{array}{rl}E\left(SS\text{res }\right)& =E\left(\sum _i\sum _j{M}_{ij}{\epsilon }_i{\epsilon }_j\right)\\ & =\sum _i^n{M}_{ii}{\sigma }^2\\ & ={\sigma }^2\mathrm{tr}(M)\\ & ={\sigma }^2\mathrm{tr}(I-H)\\ & ={\sigma }^2\mathrm{tr}(I)-{\sigma }^2\mathrm{tr}(H)\\ & =n{\sigma }^2-{\sigma }^2\mathrm{tr}\left(I_p\right)\\ & =(n-p){\sigma }^2\\ & ={\sigma }^2(n-k-1)\end{array}$$

所以

$$E(\frac{S{S}_{res}}{(n-k-1)})={\sigma }^2$$

所以方差的估计量为
${\hat{\sigma }}^2=\frac{1}{n-k-1}\sum _{i=1}^n{(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_{i1}-\cdots -{\hat{\beta }}_k{x}_{ik})}^2$

估计方差性质

无偏性

证明 我们要先验证下列这些结论

• $E\left({\epsilon }^{\prime }A\epsilon \right)={\sigma }^2\mathrm{tr}(A)$
• $\mathrm{tr}\left(I_n\right)=n$
• $\mathrm{tr}(H)=\mathrm{tr}\left(X{\left(X^{\prime }X\right)}^{-1}{X}^{\prime }\right)=k+1$ (要用到性质 $\mathrm{tr}(AB)=\mathrm{tr}(BA))$。
• $\hat{y}=Hy,\hat{\epsilon }=(I_n-H)\epsilon$
• 帽子矩阵 $H$ 和 $I_n-H$ 都是对称幂等矩阵

于是
$E\left(S{S}_{res}\right)=E({\hat{\epsilon }}^{\prime }\hat{\epsilon })=E[{\epsilon }^{\prime }(I_n-H)\epsilon ]={\sigma }^2\mathrm{tr}(I_n-H)={\sigma }^2(n-k-1)$

所以
$E\left({\hat{\sigma }}^2\right)={\sigma }^2$

估计的标准误差

$S.E.\left({\hat{\beta }}_i\right)=\sqrt{\widehat{Var({\beta }_i)}}=\hat{\sigma }\sqrt{C_{ii}}$

区间估计

响应变量条件均值的置信区间

$\text{ 记 }{x}_0={(1,x_{01},x_{02},\cdots ,x_{0k})}^{\prime }\text{, 则 }E(y\mid x_0)=x_0^{\prime }\beta$, 所以点估计为 $\widehat{y_0}=x_0^{\prime }\hat{\beta }$
且
$E\left({\hat{y}}_0\right)=x_0^{\prime }\beta ,\mathrm{Var}\left({\hat{y}}_0\right)=x_0^{\prime }\mathrm{Cov}(\hat{\beta })x_0={\sigma }^2{x}_0^{\prime }{\left(X^{\prime }X\right)}^{-1}{x}_0$

所以

$$\frac{{\hat{y}}_0-E(y\mid x_0)}{\sigma \sqrt{x_0^{\prime }{\left(X^{\prime }X\right)}^{-1}{x}_0}}\sim N(0,1)$$

$$\frac{{\hat{y}}_0-E(y\mid x_0)}{\hat{\sigma }\sqrt{x_0^{\prime }{\left(X^{\prime }X\right)}^{-1}{x}_0}}\sim t_{n-k-1}$$

所以 $E(y\mid x_0)$ 的置信区间为

$${\hat{y}}_0\pm t_{n-k-1}(1-\alpha /2)\cdot \hat{\sigma }\sqrt{x_0^{\prime }{\left(X^{\prime }X\right)}^{-1}{x}_0}$$

未知观测值的置信区间

如果要对给定 $x=x_0$ 时的响应变量值进行预测, 则显然点预测交 ${\hat{y}}_0=x_0^{\prime }\hat{\beta }$ , 则预测误差为 $e_0=y_0-{\hat{y}}_0=x_0^{\prime }\beta +{ϵ}_0-x_0^{\prime }\hat{\beta }$ 满足

$$E\left(e_0\right)=0,\mathrm{Var}\left(e_0\right)={\sigma }^2[1+x_0^{\prime }{\left(X^{\prime }X\right)}^{-1}{x}_0]$$

于是

$$\frac{y_0-{\hat{y}}_0}{\sigma \sqrt{1+x_0^{\prime }{\left(X^{\prime }X\right)}^{-1}{x}_0}}\sim N(0,1)$$

$$\frac{y_0-{\hat{y}}_0}{\hat{\sigma }\sqrt{1+x_0^{\prime }{\left(X^{\prime }X\right)}^{-1}{x}_0}}\sim t_{n-k-1}$$

从而 $y_0$ 的预测区间为

$${\hat{y}}_0\pm t_{n-k-1}(1-\alpha /2)\cdot \hat{\sigma }\sqrt{1+x_0^{\prime }{\left(X^{\prime }X\right)}^{-1}{x}_0}$$

标准化回归系数

意义

避免只根据回归系数的大小误判解释变量在模型中的重要性

做法

假设标准化之前的回归结果是 $y_i={\hat{\beta }}_0+{\hat{\beta }}_1{x}_{i1}+{\hat{\beta }}_2{x}_{i2}+{\hat{u}}_i$

由于 $({\overline{x}}_1,{\overline{x}}_2,\overline{y})$ 在样本回归线上, 因此

$$\overline{y}={\hat{\beta }}_0+{\hat{\beta }}_1{\overline{x}}_1+{\hat{\beta }}_2{\overline{x}}_2$$

两式相减并除以被解释变量的样本标准差得到

$$\frac{y_i-\overline{y}}{{\hat{\sigma }}_y}=\frac{{\hat{\sigma }}_{x_1}}{{\hat{\sigma }}_y}{\hat{\beta }}_1\cdot \frac{x_{i1}-{\overline{x}}_1}{{\hat{\sigma }}_{x_1}}+\frac{{\hat{\sigma }}_{x_2}}{{\hat{\sigma }}_y}{\hat{\beta }}_1\cdot \frac{x_{i2}-{\overline{x}}_2}{{\hat{\sigma }}_{x_2}}+\frac{{\hat{u}}_i}{{\hat{\sigma }}_y}$$

得到标准化前后估计之间的关系

$${\hat{b}}_j=\frac{{\hat{\sigma }}_{x_j}}{{\hat{\sigma }}_y}{\hat{\beta }}_j$$

多重共线性

解释变量之间的近似线性相关关系

影响

当存在完全共线性时，矩阵 $X^{\prime }X$ 是奇异的；当存在严重的近似 共线性时，$X^{\prime }X$ 就会接近奇异

此时 $\mathrm{Var}(\hat{\beta })$ 作为 ${\sigma }^2{\left(X^{\prime }X\right)}^{-1}$ 的对角元, 就会比较大。

事实上, 可以证明

$$\mathrm{Var}\left({\hat{\beta }}_j\right)=\frac{{\sigma }^2}{S_{x_j{x}_j}}\cdot \frac{1}{1-R_j^2}$$

其中 $R_j^2$ 为回归 $x_j\sim x_1+\cdots +x_{j-1}+x_{j+1}+\cdots +x_k$ 的决定系数 $R^2$ , 度量了 $x_j$ 和其它解释变量之间的共线性程度。

在建模事件中, 把 $1/(1-R_j^2)$ 定义为方差膨胀因子,

$$VI{F}_j=\frac{1}{1-R_j^2}$$

通常, 如果 VIF 大于 10 , 可以认为存在较严重的多重共线性。

假设检验

回归显著性检验

所有变量显著性检验

原假设与备择假设

$$\begin{array}{l}{H}_0:{\beta }_1={\beta }_2=\cdots ={\beta }_k=0\\ \leftrightarrow H_1:\mathrm{\exists }1\le j\le k,{\beta }_j\ne 0\end{array}$$

需要构造检验统计量
因为我们假设模型有 $\epsilon \sim N_n(0,{\sigma }^2{I}_n)$
因此有

$$\frac{S{S}_{res}}{{\sigma }^2}=\frac{{\epsilon }^{\prime }(I_n-H)\epsilon }{{\sigma }^2}=\frac{{\epsilon }^{\prime }Q\mathrm{\Sigma }{Q}^{\mathrm{\top }}\epsilon }{{\sigma }^2}=\frac{(Q^{\epsilon }{)}^{\prime }}{\sigma }\mathrm{\Sigma }\frac{Q^{\mathrm{\top }}\epsilon }{\sigma }=y^{\prime }\mathrm{\Sigma }y=\sum _{i=1}^{n-p}{y}_i^2\sim {\chi }^2(n-p)$$

因此构造$$F_0=\frac{M{S}_{reg}}{M{S}_{res}}=\frac{S{S}_{reg}/k}{S{S}_{res}/(n-k-1)}\stackrel{H_0}{\sim }{F}_{k,n-k-1}$$

当原假设成立时, $F_0$ 会小, 所以当 $F_0>F_{k,n-k-1}(1-\alpha )$, 拒绝原假设

单个变量显著性检验

原假设与备择假设

$$H_0:{\beta }_j=0\leftrightarrow H_1:{\beta }_j\ne 0$$

检验统计量

$$t_0=\frac{{\hat{\beta }}_j}{\text{ s.e. }\left({\hat{\beta }}_j\right)}=\frac{{\hat{\beta }}_j}{\sigma \sqrt{C_{jj}}}\cdot \frac{\sigma }{\hat{\sigma }}=\frac{{\hat{\beta }}_j/\sigma \sqrt{C_{jj}}}{\sqrt{\frac{1}{n-k-1}\cdot \frac{S{S}_{res}}{{\sigma }^2}}}\stackrel{H_0}{\sim }{t}_{n-k-1}$$

当 $t_0>t_{n-k-1}(1-\alpha /2)$, 拒绝原假设

子集显著性检验 (检验解释变量的某个子集是联合不显著的)

原假设与备择假设

$$H_0:{\beta }_3=0,{\beta }_4=0,{\beta }_5=0$$

检验原理:
无约束的模型相对于约束模型添加了三个变量，这将导致模型拟 合优度的增加，即残差平方和的减小和回归平方和的增大，我们可以通过比较这两个模型残差平方和的差值是否足够大来检验原假设是否可以被拒绝，如果足够大，就意味着新加入模型的三个变量（对模型拟合的影响）是显著的.

检验统计量

$$F_0=\frac{(S{S}_{res}^{H_0}-S{S}_{res})/r}{S{S}_{res}/(n-k-1)}$$

当 $F0$ 大于 $F_{r,n-k-1}$ 分布的 $(1-\alpha )$ 分位点时，拒绝原假设.

当 $r=1$ 时，上面的 $F$ 检验和 $t$ 显著性检验是等价的，事实上， $F_{1,n-k-1}=t_{n-k-1}^2$.

拟合优度改进

$R^2$ 原本存在的问题

当添加的变量与解释变量无关或其对解释变量的影响不显著时，这种拟合优度上的增加就是没有意义的

因此我们需要对传统的 $R^2$ 进行改进

$R_{adj}$

$$R^2=\frac{S{S}_{reg}}{S{S}_T}=1-\frac{S{S}_{res}}{S{S}_T},R_{adj}^2=1-\frac{S{S}_{\text{res }}/(n-k-1)}{S{S}_T/(n-1)}$$

通过添加自由度来调整