数学 - 回归分析 - 第 4 章 违背基本假设的情况 - 4.3 多元加权最小二乘估计

4.3 多元加权最小二乘估计

4.3.1 多元加权最小二乘估计的形式

对于一般的多元线性样本回归模型

$$y_i = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p + \varepsilon_i, \quad i=1,\cdots,n$$

当误差项 $\varepsilon_i$ 存在异方差性时，加权离差平方和为

$$Q_w = \sum_{i=1}^n w_i (y_i - \beta_0 - \beta_1 x_{i1} - \cdots - \beta_p x_{ip} )^2 \tag{4.3.1}$$

式中，$w_i$ 为给定的第 $i$ 个观测值的权数。加权最小二乘估计就是寻找参数 $\beta_0$，$\beta_1$，$\cdots$，$\beta_p$ 的估计值 $\hat{\beta}_{0w}$，$\hat{\beta}_{1w}$，$\cdots$，$\hat{\beta}_{pw}$ 使式 $(4.3.1)$ 的 $Q_w$ 达到极小。记

$$\begin{align*} W = \begin{bmatrix} w_1 & \\ & w_2 & \\ & & \ddots \\ & & & w_n \end{bmatrix} \end{align*}$$

可以证明，加权最小二乘估计的矩阵表达式为

$$\hat{\bm{\beta}}_w = (X' W X)^{-1} X' W \bm{y} \tag{4.3.2}$$

4.3.2 权值确定

多元线性回归有多个自变量，通常取权函数 $W$ 为某个自变量 $x_j$ 的幂函数，即 $W=x_j^m$。那在 $x_1$，$x_2$，$\cdots$，$x_p$ 这 $p$ 个自变量中，应该取哪个自变量？只需计算每个自变量 $x_j$ 与普通残差的等级相关系数，选取等级相关系数最大的自变量构造权函数。