数学 - 回归分析 - 第 5 章 自变量选择与逐步回归 - 5.2 所有子集回归

5.2 所有子集回归

5.2.1 所有子集的数目

设在一个实际问题的回归建模中，有 \(m\) 个可供选择的变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_m\)，由于每个自变量都有入选和不入选两种情况，因此 \(y\) 关于这些自变量的所有可能的回归方程就有 \(2^m - 1\) 个，这里减 \(1\) 是要求回归模型中至少包含一个自变量。如果把回归模型中只包含常数项的情况也算在内，那么所有可能的回归方程就有 \(2^m\) 个。

从另一个角度看，选模型包含的自变量数量 \(p\) 有从 \(0\) 到 \(m\) 共 \(m+1\) 种不同的情况，而对选模型中恰包含 \(p\) 个自变量的情况，从全部 \(m\) 个自变量中选出 \(p\) 个的方法共有组合数 \(\binom{m}{p}\) 个，因而所有选模型的数量为：

\[\binom{m}{0} + \binom{m}{1} + \cdots + \binom{m}{m} = 2^m \]

5.2.2 关于自变量选择的几个准则

在这些回归子集中如何选择一个最优回归子集？衡量最优子集的标准又是什么？

在第 \(3\) 章，我们从数据与模型拟合优劣的角度出发，认为残差平方和 \(\text{SSE}\) 最小的回归方程就是最好的，还用复相关系数 \(R\) 来衡量回归拟合的好坏。然而，通过下面的讨论我们会看到上述两种方法的不足。

我们把选模型式 \((5.1.2)\) 的残差平方和记为 \(\text{SSE}_p\)，当再增加一个新的自变量 \(x_{p+1}\) 时，相应的残差平方和记为 \(\text{SSE}_{p+1}\)。根据最小二乘估计的原理，增加自变量时残差平方和将减少，减少自变量时残差平方和将增加。因此有

\[\text{SSE}_{p+1} \leqslant \text{SSE}_p \]

又记它们的复决定系数分别为：\(R_{p+1}^2 = 1 - \text{SSE}_{p+1}/\text{SST}\)，\(R_{p}^2 = 1 - \text{SSE}_{p}/\text{SST}\)。由于 \(\text{SST}\) 是自变量的离差平方和，与自变量无关，因而

\[R_{p+1}^2 \geqslant R_p^2 \]

因此当自变量子集扩大时，残差平方和随之减少，而复决定系数 \(R^2\) 随之增大。因此，如果按残差平方和越小越好的原则来选择自变量子集，或者按复决定系数越大越好的准则，则毫无疑问选的变量越多越好。这样由于变量的多重共线性，给变量的回归系数估计值带来不稳定性，加上变量的测量误差积累和参数数量增加，将使估计值的误差增大。因此残差平方和、复相关系数或样本决定系数都不能作为选择变量的准则。

下面从不同的角度给出几个常用的准则。

(1) 自由度调整复决定系数达到最大

前面我们已经看到，当给模型增加自变量时，复决定系数也随之逐步增大，然而复决定系数增大的代价是残差自由度的减少（残差自由度等于样本个数与自变量个数之差）。自由度小意味着估计和预测的可靠性低。这表明当一个回归方程涉及的自变量很多时，回归模型的拟合从表面上看是良好的，而区间预测和区间估计的幅度却变大，以致失去实际意义。

为了克服样本决定系数的这一缺点，我们设法对 \(R^2\) 进行修正，使得只有加入有意义的变量时，经过修正的样本决定系数才会增加，这就是所谓的自由度调整复决定系数。

设 \(R_a^2\) 为调整的复决定系数，\(n\) 为样本量，\(p\) 为自变量的个数，则有

\[R_a^2 = 1 - \frac{n - 1}{n - p - 1}(1-R^2) \tag{5.2.1} \]

显然有 \(R_a^2 \leqslant R^2\)，\(R_a^2\) 随着自变量的增加不一定增大，由式 \((5.2.1)\) 可以看出，尽管 \(1-R^2\) 随着自变量的增加而减少，但由于其前面的系数 \((n-1)/(n-p-1)\) 起折扣作用，才使 \(R_a^2\) 随着自变量的增加并不一定增大。当所增加的自变量对回归的贡献很小时，\(R_a^2\) 反而可能减少。

在一个实际问题的回归建模中，自由度调整复决定系数 \(R_a^2\) 越大，所对应的回归方程越好。从拟合优度的角度追求最优，则所有回归子集中 \(R_a^2\) 最大者对应的回归方程就是最优方程。

从另外一个角度考虑回归的拟合效果，回归误差项方差 \(\sigma^2\) 的无偏估计为：

\[\hat{\sigma}^2 = \frac{1}{n-p-1} \text{SSE} \]

此无偏估计式中也加入了惩罚因子 \(n-p-1\)，\(\hat{\sigma}^2\) 实际上就是用自由度 \(n-p-1\) 做平均的平均残差平方和。当自变量个数从 \(0\) 开始增加时，\(\text{SSE}\) 逐渐减小，作为除数的惩罚因子 \(n-p-1\) 也随之减小。

一般来说，当自变量个数从 \(0\) 开始增加时，\(\hat{\sigma}^2\) 先下降，而后稳定下来，当自变量个数增加到一定数量后，\(\hat{\sigma}^2\) 又开始增加。这是因为刚开始时，随着自变量个数的增加，\(\text{SSE}\) 能够快速减小，虽然作为除数的惩罚因子 \(n-p-1\) 也随之减小，但由于 \(\text{SSE}\) 减小的速度更快，因而 \(\hat{\sigma}^2\) 是趋于减小的。当自变量数目增加到一定程度时，重要的自变量基本都选上了，这时再增加自变量，\(\text{SSE}\) 减小的幅度不大，以至于抵消不了除数 \(n-p-1\) 的减小，最终又导致了 \(\hat{\sigma}^2\) 的增加。

上述分析可知，用平均残差平方和 \(\hat{\sigma}^2\) 作为自变量选元准则是合理的，那么它和调整的复决定系数 \(R_a^2\) 准则有什么关系呢？实际上，这两个准则是等价的，容易证明以下关系成立：

\[R_a^2 = 1 - \frac{n-1}{\text{SST}} \hat{\sigma}^2 \tag{5.2.2} \]

由于 \(\text{SST}\) 是与回归无关的固定值，因此 \(R_a^2\) 与 \(\hat{\sigma}^2\) 是等价的。

(2) AIC 与 BIC 准则