数学 - 回归分析 - 第 5 章 自变量选择与逐步回归 - 5.1 自变量选择对估计和预测的影响

5.1 自变量选择对估计和预测的影响

回归自变量的选择无疑是建立回归模型的一个极为重要的问题。在建立一个实际问题的回归模型时，首先碰到的问题便是如何确定回归自变量，一般情况下，我们大多是根据所研究问题的目的，结合相关理论罗列出对因变量可能有影响的一些因素。

如果遗漏了某些重要的变量，回归方程的效果肯定肯定不好；如果担心遗漏了重要的变量而考虑过多的自变量，在这些变量中，某些自变量对问题的研究可能并不重要，有些自变量数据的质量可能很差，有些自变量可能和其他自变量有很大程度的重叠。结果，不仅计算量增大很多，而且得到的回归方程稳定性很差，直接影响到回归方程的应用。

5.1.1 全模型和选模型

设我们研究的某一实际问题所涉及的对因变量有影响的因素共有 \(m\) 个，由因变量 \(y\) 和 \(m\) 个自变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_m\) 构成的回归模型为：

\[y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_m x_m + \varepsilon \tag{5.1.1} \]

因为模型式 \((5.1.1)\) 是因变量 \(y\) 与所有自变量 \(x_1\)，\(\cdots\)，\(x_m\) 的回归模型，故称式 \((5.1.1)\) 为全回归模型。

如果从所有可供选择的 \(m\) 个变量中挑选出 \(p\) 个，记为 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\)，由所选的 \(p\) 个自变量组成的回归模型为：

\[y = \beta_{0p} + \beta_{1p} x_1 + \cdots + \beta_{pp} x_p + \varepsilon_p \tag{5.1.2} \]

相对全模型而言，我们称模型 \((5.1.2)\) 为选回归模型。选模型式 \((5.1.2)\) 的 \(p\) 个自变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 并不一定是全体 \(m\) 个自变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_m\) 中的前 \(p\) 个，实际上是在全体 \(m\) 个自变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_m\) 中按某种规则挑选出的 \(p\) 个，不过为了方便，我们不妨认为\(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 就是 \(m\) 个自变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_m\) 中的前 \(p\) 个。

为了方便，把模型式 \((5.1.1)\) 的参数向量 \(\bm{\beta}\) 和 \(\sigma^2\) 的估计记为：

\[\hat{\bm{\beta}}_m = (X_m' X_m)^{-1} X_m' \bm{y} \tag{5.1.3} \]

\[\hat{\sigma}_m^2 = \frac{1}{n-m-1} \text{SSE}_m \tag{5.1.4} \]

把模型式 \((5.2)\) 的参数向量 \(\bm{\beta}\) 和 \(\sigma^2\) 的估计记为：

\[\hat{\bm{\beta}}_p = (X_p' X_p)^{-1} X_p' \bm{y} \tag{5.1.5} \]

\[\hat{\sigma}_p^2 = \frac{1}{n-p-1} \text{SSE}_p \tag{5.1.6} \]

5.1.2 自变量选择对预测的影响

假设全模型式 \((5.1.1)\) 与选模型式 \((5.1.2)\) 不同，即要求 \(p < m\)，\(\beta_{p+1} x_{p+1} + beta_m x_m\) 不恒为零。在此条件下，当全模型式 \((5.1.1)\) 正确而误用了选模型式 \((5.1.2)\) 时。有如下性质：

定理 5.1.1

• 在 \(x_j\) 与 \(x_{p+1}\)，\(\cdots\)，\(x_m\) 的相关系数不全为零时，选模型回归系数的最小二乘估计是全模型相关参数的有偏估计，即 \(E(\hat{\beta}_{jp})=\beta_{jp} \neq \beta_j \,(j=1,2,\cdots,p)\)。

• 选模型的预测是有偏的。给定新自变量值，\(\bm{x}_{0m}=(x_{01},x_{02},\cdots,x_{0m})’\)，因变量新值为 $y_0=\beta_0 + \beta_1 x_{01} + $