数学 - 回归分析 - 第 7 章 岭回归 - 7.1 岭回归估计的定义

7.1 岭回归估计的定义

当设计矩阵 $X$ 呈病态时，$X$ 的列向量之间有较强的线性相关性，即解释变量间存在严重的多重共线性。在这种情况下，用普通最小二乘法估计模型参数，往往参数估计方差太大，使普通最小二乘法的效果变得很不理想。为解决这个问题，统计学家从模型和数据的角度考虑，采用回归诊断和自变量选择来克服多重共线性的影响。此外，人们还对普通最小二乘估计提出了种种改进方法。

7.1.1 普通最小二乘估计带来的问题

多元线性回归模型的矩阵形式为 $\bm{y} = X \bm{\beta} + \bm{\varepsilon}$，参数 $\bm{\beta}$ 的普通最小二乘估计为 $\hat{\bm{\beta}} = (X'X)^{-1} X' \bm{y}$。在第 $6$ 章多重共线性部分有提到，当自变量 $x_j$ 与其余变量间存在多重共线性时，$\text{var} (\hat{\beta}_j) = c_{jj} \sigma^2 / L_{jj}$ 很大，$\hat{\beta}_j$ 就很不稳定。

7.1.2 岭回归的定义

针对出现多重共线性时，普通最小二乘估计效果明显变差的问题，提出了一种改进最小二乘估计的方法，叫岭回归。

岭回归的想法很自然。当自变量间存在多重共线性时，$|X'X| \approx 0$，我们设想给 $X'X$ 加上一个正常数矩阵 $k I(k > 0)$，那么 $X'X + k I$ 接近奇异的程度就会比 $X'X$ 接近奇异的程度小得多。考虑到量纲问题，先将数据标准化，为了计算方便，标准化后的设计矩阵仍然用 $X$ 表示，定义为：

$$\hat{\bm{\beta}} (k) = (X'X + k I)^{-1} X' \bm{y} \tag{7.1.1}$$

我们称式 $(7.1.1)$ 为 $\bm{\beta}$ 的岭回归估计，其中，$k$ 称为岭参数。由于假设 $X$ 已经标准化，所以 $X'X$ 就是自变量样本相关阵。式 $(7.1.1)$ 中 $\bm{y}$ 可以标准化，也可以不标准化。如果 $\bm{y}$ 也经过标准化，那么式 $(7.1.1)$ 计算的实际是标准化岭回归估计。$\hat{\bm{\beta}}(k)$ 作为 $\bm{\beta}$ 的估计应比最小二乘估计 $\hat{\bm{\beta}}$ 稳定，当 $k=0$ 时的岭回归估计 $\hat{\bm{\beta}}(0)$ 就是普通最小二乘估计。

因为岭参数 $k$ 不是唯一确定的，所以得到的岭回归估计 $\hat{\bm{\beta}} (k)$ 实际是回归参数 $\bm{\beta}$ 的一个估计族。