数学 - 回归分析 - 第 2 章 一元线性回归 - 2.7 预测和控制

2.7 预测和控制

预测和控制是回归模型最重要的应用。

2.7.1 单值预测

单值预测就是用单个值作为因变量新值的预测值。比如我们研究某地区小麦亩产量 \(y\) 与施肥量 \(x\) 之间的关系，利用数据建立回归方程

\[y = \hat{\beta}_0 + \hat{\beta}_1 x \]

当给定 \(x\) 的值为 \(x_0\) 时，可以得到因变量新值 \(y_0 = \beta_0 + \beta_1 x_0 + \varepsilon_0\) 的单值预测：

\[\hat{y}_0 = \hat{\beta}_0 + \hat{\beta}_1 x_0 \]

预测目标 \(y_0\) 是一个随机变量，根据式 \(E(\hat{y}_0)=E(y_0)=\beta_0+\beta_1 x_0\) 可知，预测值 \(\hat{y}_0\) 与目标值 \(y_0\) 有相同的均值，满足点估计的无偏性要求。

2.7.2 区间预测

以上的单值预测 \(\hat{y}_0\) 只是这个地块小麦产量的大概值。仅知道这一点意义并不大，对于预测问题，除了知道预测值外，还希望知道预测的精度，这就需要做区间预测。具体来说，就是对于给定的显著性水平 \(\alpha\)，找一个区间 \((T_1, T_2)\)，使对于某特定的 \(x_0\) 的实际值 \(y_0\) 以 \(1-\alpha\) 的概率被区间 \((T_1, T_2)\) 包含，公式表示为

\[P(T_1 < y_0 < T_2) =1-\alpha \]

对因变量的区间预测分为两种情况：一种是因变量新值的区间预测；另一种是因变量新值的平均值的区间预测。

(1) 因变量新值的区间预测

为给出新值 \(y_0\) 的置信区间，需要求出其估计值 \(\hat{y}_0 = \hat{\beta}_0 + \hat{\beta}_1 x_0\) 的分布，由于 \(\hat{\beta}_0\) 和 \(\hat{\beta}_1\) 都是 \(y_1\)，\(y_2\)，\(\cdots\)，\(y_n\) 的线性组合，因而 \(\hat{y}_0\) 也是 \(y_1\)，\(y_2\)，\(\cdots\)，\(y_n\) 的线性组合，在正态假定下 \(\hat{y}_0\) 服从正态分布。在之前期望和方差的计算中，由式 \((2.3.10)\) 可以得到预测值 \(\hat{y}_0\) 的分布

\[\widehat{y}_0 \sim N \left( \beta_0 + \beta_1 x_0, \left( \frac{1}{n} + \frac{(x_0 - \overline{x})^2}{L_{xx}} \right) \sigma^2 \right) \]

我们记一个新的杠杆值

\[h_{00} = \frac{1}{n} + \frac{(x_0 - \overline{x})^2}{L_{xx}} \tag{2.7.1} \]

上式为新值 \(x_0\) 的杠杆值，上式简写为：

\[\widehat{y}_0 \sim N \left( \beta_0 + \beta_1 x_0, h_{00} \sigma^2 \right) \tag{2.7.2} \]

预测值 \(\hat{y}_0\) 是先前独立观测到的随机变量 \(y_1\)，\(y_2\)，\(\cdots\)，\(y_n\) 的线性组合，现在因变量新值 \(y_0\) 与之前的观测值 \(y_i\) 是独立的，所以 \(y_0\) 与 \(\hat{y}_0\) 是独立的。此时有

\[\text{var} (y_0 - \hat{y}_0)= \text{var} (y_0 ) + \text{var} ( \hat{y}_0) = \sigma^2 +h_{00} \sigma^2 \]

又由

\[E(y_0) = E(\hat{y}_0) \Rightarrow E(y_0 - \hat{y}_0) = 0 \]

得到 \(y_0 - \hat{y}_0\) 的概率分布：

\[y_0 - \hat{y}_0 \sim N(0, (1+h_{00}) \sigma^2) \tag{2.7.3} \]

由上式给出的分布构造枢轴变量

\[t = \frac{y_0 - \hat{y}_0}{\sqrt{1+h_{00}} \, \hat{\sigma}} \tag{2.7.4} \]

类似于定理 \(2.6.1\) 的证明，我们可类似证明下式定理：

定理 2.7.1

式 \((2.7.4)\) 构造的枢轴变量服从自由度为 \(n-2\) 的 \(t\) 分布。

给定显著性水平 \(\alpha\)，得到

\[P \left( \left| \frac{y_0 - \hat{y}_0}{\sqrt{1+h_{00}} \, \hat{\sigma}} \right| \leqslant t_{\alpha / 2} (n-2) \right) = 1-\alpha \]

由此求得 \(y_0\) 的置信度为 \(1-\alpha\) 的置信区间为

\[\left( \hat{y}_0 - t_{\alpha / 2} (n-2) \sqrt{1+h_{00}} \, \hat{\sigma}, \, \hat{y}_0 + t_{\alpha / 2} (n-2) \sqrt{1+h_{00}} \, \hat{\sigma} \right) \tag{2.7.5} \]

当样本量 \(n\) 较大，\(|x_0 - \overline{x}|\) 较小时，\(h_{00}\) 接近 \(0\)，此时 \(y_0\) 的置信度为 \(95%\) 的置信区间近似为：

\[\hat{y}_0 \pm 2 \hat{\sigma} \tag{2.7.6} \]

由式 \((2.7.5)\) 可以看到，对给定的显著性水平 \(\alpha\)，样本量 \(n\) 越大，\(L_{xx}\) 越大，\(x_0\) 越靠近 \(\overline{x}\)，则置信区间长度越短，表明预测的精度越高。

为了提高预测精度，样本量 \(n\) 越大越好，采集数据 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_n\) 不能太集中。在进行预测时，所给定的 \(x_0\) 不能偏离 \(\overline{x}\) 太大，否则预测效果肯定不好；如果给定值 \(x_0=\overline{x}\)，置信区间长度最短，此时的预测结果最好。

因此，如果在自变量观测值之外的范围做预测，精度会很差。在做预测时一定要看 \(x_0\) 与 \(\overline{x}\) 相差多大。

(2) 因变量新值的平均值的区间预测

式 \((2.7.5)\) 给出的是因变量单个新值的置信区间，我们关心的另一种情况是因变量新值的平均值的区间估计。首先给出 \(E(y_0)\) 的一个良好的点估计，由式 \((2.3.4)\) 可仍将 \(\hat{y}_0\) 作为 \(E(y_0)\) 的估计。由于 \(E(y_0) = \beta_0 + \beta_1 x_0\) 是常数（\(\beta_0\) 和 \(\beta_1\) 是模型未知常数）。

则有

\[E(\hat{y}_0 - E(y_0)) = 0, \quad \text{var} (\hat{y}_0 - E(y_0)) = \text{var} (\hat{y}_0) = h_{00} \sigma^2 \tag{2.7.7} \]

故得到 \(\hat{y}_0 - E(y_0)\) 的分布

\[\hat{y}_0 - E(y_0) \sim N(0, h_{00} \sigma^2 ) \tag{2.7.8} \]

可类似构造统计量

\[t =\frac{\hat{y}_0 - E(y_0)}{\sqrt{h_{00}}\, \hat{\sigma}} \sim t(n-2) \tag{2.7.9} \]

进而可以得到置信度为 \(1-\alpha\) 的置信区间为：

\[\left( \hat{y}_0 - t_{\alpha / 2} (n-2) \sqrt{h_{00}} \, \hat{\sigma}, \, \hat{y}_0 + t_{\alpha / 2} (n-2) \sqrt{h_{00}} \, \hat{\sigma} \right) \tag{2.7.10} \]

注，有时我们将因变量平均值的区间预测称为置信区间，把因变量单个值的区间预测称为预测区间。

2.7.3 控制问题

控制问题相当于预测的反问题。预测与控制有密切的关系。比如在一些经济问题中，我们要求 \(y\) 在一定范围内取值，对经济增长率，我们可能会希望经济增长能保持在 \(8% \sim 12%\)，用数学表达式描述，即要求

\[T_1 < y < T_2 \]

问题是如何控制 \(x\) 呢？在统计学中进一步讨论如何控制自变量 \(x\) 的值才能以 \(1-\alpha\) 的概率保证把目标值控制在 \(T_1 < y < T_2\)，即对事先给定的数 \(\alpha\)，\((0<\alpha<1)\)

\[P (T_1 < y < T_2) = 1 - \alpha \tag{2.7.11} \]

我们通常用近似的预测区间来确定 \(x\)。如果 \(\alpha = 0.05\)，我们不妨使用根据式 \((2.7.6)\) 来做区间估计（使用其他区间估计也可以），可得不等式组

\[\hat{y} (x) - 2 \hat{\sigma} > T_1, \quad \hat{y} (x) + 2 \hat{\sigma} < T_2 \tag{2.7.12} \]

由此可求 \(x\) 的取值区间，由 \(\hat{y}(x) = \hat{\beta}_0 + \hat{\beta}_1 x\) 得

当 \(\hat{\beta}_1 > 0\) 时

\[\frac{T_1 + 2 \hat{\sigma} - \hat{\beta}_0}{\hat{\beta}_1} < x < \frac{T_1 - 2 \hat{\sigma} - \hat{\beta}_0}{\hat{\beta}_1} \tag{2.7.13} \]

当 \(\hat{\beta}_1 < 0\) 时

\[\frac{T_2 - 2 \hat{\sigma} - \hat{\beta}_0}{\hat{\beta}_1} < x < \frac{T_1 + 2 \hat{\sigma} - \hat{\beta}_0}{\hat{\beta}_1} \tag{2.7.14} \]

控制问题的应用要求因变量 \(y\) 与自变量 \(x\) 之间有因果关系，常用在工业生产的质量控制中。