数学 - 回归分析 - 第 4 章 违背基本假设的情况 - 4.2 一元加权最小二乘估计

4.2 一元加权最小二乘估计

4.2.1 一元加权最小二乘估计的形式

当我们研究的问题具有异方差性时，就违背了线性回归模型的基本假定——高斯-马尔科夫条件。此时，不能用普通最小二乘法进行参数估计，必须寻求另外的方法。

可以考虑对原来的模型进行变换，使得变换后的模型满足同方差性假设，然后再进行模型参数的估计。消除异方差性的方法通常有加权最小二乘法、$\text{BOX-COX}$ 变换法、方差稳定性变换法等。加权最小二乘法是一种最常用的消除异方差性的方法。

对一元线性回归方程来说，普通最小二乘法的离差平方和为：

$$Q(\beta_0,\beta_1) = \sum_{i=1}^n (y_i - \beta_0 - \beta_1 x_i)^2 \tag{4.2.1}$$

其中，每个观测值的权数相同。在等方差条件下，平方和中的每一项的地位都相同。然而，在异方差条件下，平方和中的每一项的地位是不同的，误差项方差 $\sigma_i^2$ 大的项，在式 $(4.2.1)$ 平方和中的占比就偏大，因而普通最小二乘估计的回归线就被拉向方差大的项，而方差小的项的拟合程度就差。加权最小二乘法就是在平方和中加入一个适当的权数 $w_i$，以调整各项在平方和中的作用。一元线性回归的加权最小二乘的离差平方和为：

$$Q_w(\beta_0, \beta_1) = \sum_{i=1}^n w_i (y_i - \beta_0 - \beta_1 x_i)^2 \tag{4.2.2}$$

其中，$w_i$ 为给定的第 $i$ 个观测值的权数。

加权最小二乘估计就是寻找参数 $\beta_0$，$\beta_1$ 的估计值 $\beta_{0w}$，$\beta_{1w}$ 使得式 $(4.2.2)$ 的离差平方和 $Q_w$ 达到极小。如果所有的权数相等，即 $w_i$ 都为某个常数，则该方法成为了普通最小二乘估计。可以得到回归参数的加权最小二乘估计为：

$$\left\{ \begin{aligned} \hat{\beta}_{0w} = & \overline{y}_w - \hat{\beta}_{1w} \overline{x}_w\\ \\ \hat{\beta}_{1w} = & \frac{\sum_{i=1}^n w_i (x_i - \overline{x}_w)(y_i - \overline{y}_w)}{\sum_{i=1}^n w_i (x_i - \overline{x}_w)^2} \end{aligned} \tag{4.2.3} \right.$$

式中，$\overline{x}_w$ 与 $\overline{y}_w$ 分别为自变量 $x$ 的加权平均和因变量 $y$ 的加权平均。即

$$\overline{x}_w = \frac{\sum w_i x_i}{\sum w_i}, \quad \overline{y}_w = \frac{\sum w_i y_i}{\sum w_i}$$

4.2.2 权值确定

在使用加权最小二乘估计时，为了消除异方差性的影响，使式 $(4.2.2)$ 中的各项地位相同，观测值的权数应该是观测值误差项方差的倒数。设 $\sigma_i^2$ 为第 $i$ 个观测值误差项的方差，即有

$$w_i = \frac{1}{\sigma_i^2}$$

实际问题研究中，误差项方差 $\sigma_i^2$ 通常是未知的。但是，当误差项方差随自变量水平以系统的形式变化时，我们可以利用这种关系。例如，已知误差项方差 $\sigma_i^2$ 与 $x_i^2$ 成比例，那么 $\sigma_i^2 = k x_i^2$，其中 $k$ 为比例系数。权数 $w_i$ 为：

$$w_i = \frac{1}{k x_i^2}$$

比例系数 $k$ 在参数估计中可以消去，所以可以直接使用权数

$$w_i = \frac{1}{x_i^2}$$

在研究中常会遇到一类特殊的权数，即误差项方差与自变量的幂函数 $x^m$ 成比例，$m$ 为待定的未知参数。此时权函数为

$$w_i = \frac{1}{x_i^m} \tag{4.2.4}$$

利用一些统计软件可以方便地确定式 $(4.2.4)$ 中幂指数 $m$ 的最优权值，甚至可以自己设置一些适合具体问题的权函数。