数学 - 回归分析 - 第 6 章 多重共线性的情形及其处理 - 6.2 多重共线性对回归模型的影响

6.2 多重共线性对回归模型的影响

6.2.1 多重共线性对回归模型的影响

设下述回归模型存在完全多重共线性

$$y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_p x_p + \varepsilon$$

即对设计矩阵 $X$ 的列向量存在不全为零的一组数 $c_0$，$c_1$，$\cdots$，$c_p$ 使得

$$c_0 + c_1 x_{i1} + c_2 x_{i2} + \cdots + c_p x_{ip} = 0, \quad i = 1,2,\cdots,n$$

设计矩阵的秩 $\text{rank}(X) < p+1$，此时 $|X'X| = 0$，正规方程组 $X'X \hat{\bm{\beta}} = X' \bm{y}$ 的解不唯一，$(X'X)^{-1}$ 不存在，回归参数的最小二乘估计表达式 $\hat{\bm{\beta}} = (X'X)^{-1}X' \bm{y}$ 不成立。

在实际问题中，经常遇到的是近似共线性的情形，即存在不全为零的一组数 $c_0$，$c_1$，$\cdots$，$c_p$ 使得

$$c_0 + c_1 x_{i1} + c_2 x_{i2} + \cdots + c_p x_{ip} \approx 0, \quad i = 1,2,\cdots,n$$

此时设计矩阵 $X$ 的秩 $\text{rank}(X) = p+1$ 虽然成立，但是 $|X'X| \approx 0$，$(X'X)^{-1}$ 的对角线元素很大，$\hat{\bm{\beta}}$ 的方差阵 $D(\hat{\bm{\beta}}) = \sigma^2 (X'X)^{-1}$ 的对角线元素很大，而 $D(\bm{\hat{\beta}})$ 的对角线元素即 $\text{var}(\hat{\beta}_0)$，$\text{var}(\hat{\beta}_1)$，$\cdots$，$\text{var}(\hat{\beta}_p)$，因而 $\beta_0$，$\beta_1$，$\cdots$，$\beta_p$ 的估计精度很低。这样，虽然用普通最小二乘估计能得到 $\bm{\beta}$ 的无偏估计，但估计量 $\hat{\bm{\beta}}$ 的方差很大，不能正确判断解释变量对被解释变量的影响程度，甚至导致估计量的实际意义无法解释。

6.2.2 二元回归的例子

以二元回归为简单例子，我们可以看到当自变量间的相关性从小到大增加时，估计量的方差增大得很快。

做 $y$ 对两个自变量 $x_1$，$x_2$ 的线性回归，假定 $y$ 与 $x_1$，$x_2$ 都已经中心化，此时回归常数项为零，回归方程为：

$$\hat{y} = \hat{\beta}_1 x_1 + \hat{\beta}_2 x_2$$

记 $L_{11} = \sum_{i=1}^{n} x_{i1}^2$，$L_{12} = \sum_{i=1}^n x_{i1} x_{i2}$，$L_{22} = \sum_{i=1}^n x_{i2}^2$，则 $x_1$ 与 $x_2$ 之间的相关系数为：

$$r_{12} = \frac{L_{12}}{\sqrt{L_{11} L_{22}}}$$

由于

$$X' X = \begin{bmatrix} L_{11} & L_{12} \\ L_{12} & L_{22} \end{bmatrix}$$

我们可以计算 $\hat{\bm{\beta}} = (\hat{\beta}_1, \hat{\beta}_2)$ 的协方差阵为：

$$\begin{align*} \text{cov} (\hat{\bm{\beta}}) & = \sigma^2 (\bm{X}' \bm{X})^{-1} \\ & = \sigma^2 \frac{1}{|X'X|} \begin{bmatrix} L_{22} & -L_{12} \\ -L_{12} & L_{11} \end{bmatrix} \\ & = \sigma^2 \frac{1}{L_{11}L_{22}(1-r_{12}^2)} \begin{bmatrix} L_{22} & -L_{12} \\ -L_{12} & L_{11} \end{bmatrix} \\ \end{align*}$$

由此可得

$$\text{var}(\hat{\beta}_1) = \frac{\sigma^2}{(1 - r_{12}^2)L_{11}}, \quad \text{var}(\hat{\beta}_1) = \frac{\sigma^2}{(1 - r_{12}^2)L_{22}} \tag{6.2.1}$$

可知，随着自变量 $x_1$ 与 $x_2$ 的相关性增强，$\hat{\beta}_1$ 和 $\hat{\beta}_2$ 的方差将逐渐增大。我们可认为当 $x_1$ 与 $x_2$ 完全相关（$r=1$）时，方差将变为无穷大。