数学 - 回归分析 - 第 2 章 一元线性回归 - 2.3 最小二乘估计的性质

2.3 最小二乘估计的性质

2.3.1 线性

线性指估计量 $\hat{\beta}_0$，$\hat{\beta}_1$ 为随机变量 $y_i$ 的样本的线性函数，由式 $(2.2.8)$ 我们可以得到等价的表达式：

$$\hat{\beta}_1 = \frac{\sum_{i=1}^n (x_i - \overline{x}) y_i}{\sum_{i=1}^n (x_i - \overline{x})^2} \tag{2.3.1}$$

可以看出 $\hat{\beta}_1$ 是 $y_i$ 的线性组合，由此可进一步得出 $\hat{\beta}_0$ 也可表示为 $y_i$ 的线性组合。

因为 $y_i$ 是随机变量，因此 $\hat{\beta}_0$，$\hat{\beta}_1$ 也可视为随机变量。

2.3.2 无偏性

由于 $x_i$ 是非随机变量，$E(\varepsilon_i) = 0$，我们由下式：

$$E(y_i) = E(\beta_0 + \beta_1 x_i + \varepsilon_i) = \beta_0 + \beta_1 x_i \tag{2.3.2}$$

可以得到如下定理：

定理 2.3.1

$\hat{\beta}_0$ 是 $\beta_0$ 的无偏估计；$\hat{\beta}_1$ 是 $\beta_1$ 的无偏估计。

证明：由式 $(2.3.1)$ 可计算期望

$$\begin{align*} E(\hat{\beta}_1) & = \sum_{i=1}^n \frac{(x_i - \overline{x})}{\sum_{i=1}^n (x_i - \overline{x})^2} E(y_i) \\ & = \sum_{i=1}^n \frac{(x_i - \overline{x})}{\sum_{i=1}^n (x_i - \overline{x})^2} (\beta_0 + \beta_1 x_i) = \beta_1 \end{align*} \tag{2.3.3}$$

同理可证 $\hat{\beta}_0$ 是 $\beta_0$ 的无偏估计。

进一步有：

$$\begin{align*} E(\hat{y}) & = E(\hat{\beta}_0 + \hat{\beta}_1 x_i) \\ & = \beta_0 + \beta_1 x_i \\ & = E(y) \end{align*} \tag{2.3.4}$$

上式表明回归值 $\hat{y}$ 是随机变量 $y$ 的无偏估计，表明 $\hat{y}$ 与随机变量 $y$ 的期望值是相同的。

2.3.3 $\beta_0$，$\beta_1$的方差

我们研究估计量的方差，由于 $y_1$、$y_2$、$\cdots$、$y_n$ 是相互独立的，且 $\text{var} (y_i)=\sigma^2$，得

$$\begin{align*} \text{var} (\hat{\beta}_1) & = \sum_{i=1}^n \left[ \frac{(x_i - \overline{x})}{\sum_{j=1}^n (x_j - \overline{x})^2} \right]^2 \text{var} (y_i) \\ & = \frac{\sigma^2}{\sum_{i=1}^n (x_i - \overline{x})^2} \end{align*} \tag{2.3.5}$$

我们再估计 $\hat{\beta}_0$ 的方差：

$$\begin{align*} \text{var}(\hat{\beta}_0) & = \text{var}(\overline{y} - \hat{\beta}_1 \overline{x}) \\ & = \text{var}(\overline{y} - \frac{\sum_{i=1}^n (x_i - \overline{x}) y_i}{\sum_{i=1}^n (x_i - \overline{x})^2} \overline{x}) \\ & = \text{var}(\sum_{i=1}^n \left[ \frac{1}{n} - \frac{(x_i - \overline{x}) \overline{x}}{\sum_{i=1}^n (x_i - \overline{x})^2} \right] y_i) \\ & = \sum_{i=1}^n \left[ \frac{1}{n} - \frac{(x_i - \overline{x}) \overline{x}}{\sum_{i=1}^n (x_i - \overline{x})^2} \right]^2 \text{var}(y_i) \\ & = \sigma^2 \sum_{i=1}^n \left[ \frac{1}{n} - \frac{(x_i - \overline{x}) \overline{x}}{\sum_{i=1}^n (x_i - \overline{x})^2} \right]^2 \\ & = \sigma^2 \left[ \frac{1}{n} + \frac{(\overline{x})^2}{\sum_{i=1}^n (x_i - \overline{x})^2} \right] \end{align*} \tag{2.3.6}$$

从结果可以得出两点

• 回归系数 $\hat{\beta}_1$ 不仅与随机误差的方差 $\sigma^2$ 有关，而且与自变量 $x$ 的取值离散程度有关。

• 回归常数 $\hat{\beta}_0$ 不仅与随机误差的方差 $\sigma^2$ 和自变量 $x$ 的取值离散程度有关，而且与数据的个数 $n$ 有关。

总之可以看到，要想使 $\beta_0$，$\beta_1$ 的估计值 $\hat{\beta}_0$，$\hat{\beta}_1$ 更稳定，在收集数据时，应该考虑以下两点

• 随机误差的方差如果能一定程度上进行控制，尽量使其最小。

• 使 $x$ 的取值尽量分散一些，不要挤在一块。

• 样本量尽可能大一些。

2.3.4 正态性

由 $\hat{\beta}_1$ 和 $\hat{\beta}_0$ 的线性性质可以知道，$\hat{\beta}_0$ 和 $\hat{\beta}_1$ 都是 $n$ 个独立的正态随机变量 $y_i$ 的线性组合，因此 $\hat{\beta}_0$ 和 $\hat{\beta}_1$ 也服从正态分布。且由均值和方差知：

$$\hat{\beta}_0 \sim N(\beta_0, (\frac{1}{n} + \frac{(\overline{x})^2}{L_{xx}}) \sigma^2), \quad \hat{\beta}_1 \sim N(\beta_1, \frac{\sigma^2}{L_{xx}}) \tag{2.3.7}$$

可以计算 $\hat{\beta}_0$ 和 $\hat{\beta}_1$ 的协方差：

$$\begin{align*} \text{cov} (\hat{\beta}_0, \hat{\beta}_1) & = \text{cov} (\overline{y} - \hat{\beta}_1 \overline{x},\sum_{i=1}^n \frac{(x_i - \overline{x})}{\sum_{i=1}^n (x_i - \overline{x})^2} y_i) \\ & = \text{cov} (\sum_{i=1}^n \left[ \frac{1}{n} - \frac{(x_i - \overline{x}) \overline{x}}{\sum_{i=1}^n (x_i - \overline{x})^2} \right] y_i,\sum_{i=1}^n \frac{(x_i - \overline{x})}{\sum_{i=1}^n (x_i - \overline{x})^2} y_i) \\ & = \sum_{i=1}^n \left\{ \left[ \frac{1}{n} - \frac{(x_i - \overline{x}) \overline{x}}{\sum_{i=1}^n (x_i - \overline{x})^2} \right] \frac{(x_i - \overline{x})}{\sum_{i=1}^n (x_i - \overline{x})^2} \text{var}(y_i) \right\} \\ & = -\frac{\overline{x}}{L_{xx}} \sigma^2 \end{align*} \tag{2.3.8}$$

式 $(2.3.8)$ 说明，在 $\overline{x}=0$ 时，$\hat{\beta}_0$ 与 $\hat{\beta}_1$ 不相关，在正态假定条件下独立；在 $\overline{x} \neq 0$ 时，$\hat{\beta}_0$ 与 $\hat{\beta}_1$ 相关，在正态假定条件下不独立。

在高斯—马尔可夫条件下可以证明 $\hat{\beta}_0$ 和 $\hat{\beta}_1$ 分别是 $\beta_0$ 和 $\beta_1$ 的最佳线性无偏估计，也称最小方差线性无偏估计。即指在所有 $\beta_0$ 和 $\beta_1$ 的线性无偏估计中，它们的方差最小。（证明见多元线性回归中的 $\text{G - M}$ 定理）

固定 $x_0$ 有

$$\hat{y}_0 = \hat{\beta}_0 + \hat{\beta}_1 x_0 \tag{2.3.9}$$

估计值 $\hat{y}_0$ 的期望已经由式 $(2.3.4)$ 表出，下面计算其方差

$$\begin{align*} \text{var} (\hat{y}_0) & = \text{var} (\hat{\beta}_0 + \hat{\beta}_1 x_0) = \text{var} (\hat{\beta}_0) + \text{var} (\hat{\beta}_1 x_0) + 2 \, \text{cov} (\hat{\beta}_0, \hat{\beta}_1 x_0) \\ & = \sigma^2 \left[ \frac{1}{n} + \frac{(\overline{x})^2}{L_{xx}} \right] + x_0^2 \frac{\sigma^2}{L_{xx}} - 2 \frac{x_0 \overline{x}}{L_{xx}} \sigma^2 \\ & = \sigma^2 \left[ \frac{1}{n} + \frac{(\overline{x})^2}{L_{xx}} + \frac{x_0^2}{L_{xx}} - 2 \frac{x_0 \overline{x}}{L_{xx}} \right] \\ & = (\frac{1}{n} + \frac{(x_0 - \overline{x})^2}{L_{xx}}) \sigma^2 \end{align*}$$

故估计值 $\hat{y}_0$ 也是随机变量 $y_1$、$y_2$、$\cdots$、$y_n$ 的线性组合，因此

$$\hat{y}_0 \sim N(\beta_0 + \beta_1 x_0, (\frac{1}{n} + \frac{(x_0 - \overline{x})^2}{L_{xx}}) \sigma^2) \tag{2.3.10}$$

由此可见，$\hat{y}_0$ 是随机变量 $y_0$ 的无偏估计，且 $\hat{y}_0$ 的方差随给定的 $x_0$ 值与 $\overline{x}$ 的距离 $|x_0 - \overline{x}|$ 的增大而增大。即当给定的 $x_0$ 与 $x$ 的样本平均值 $\overline{x}$ 相差较大时，$\hat{y}_0$ 的估计波动就会增大。

因此实际应用回归方程进行控制和预测时，给定的 $x_0$ 值不能偏离样本均值太多。