数学 - 回归分析 - 第 4 章 违背基本假设的情况 - 4.3 多元加权最小二乘估计

4.3 多元加权最小二乘估计

4.3.1 多元加权最小二乘估计的形式

对于一般的多元线性样本回归模型

\[y_i = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p + \varepsilon_i, \quad i=1,\cdots,n \]

当误差项 \(\varepsilon_i\) 存在异方差性时，加权离差平方和为

\[Q_w = \sum_{i=1}^n w_i (y_i - \beta_0 - \beta_1 x_{i1} - \cdots - \beta_p x_{ip} )^2 \tag{4.3.1} \]

式中，\(w_i\) 为给定的第 \(i\) 个观测值的权数。加权最小二乘估计就是寻找参数 \(\beta_0\)，\(\beta_1\)，\(\cdots\)，\(\beta_p\) 的估计值 \(\hat{\beta}_{0w}\)，\(\hat{\beta}_{1w}\)，\(\cdots\)，\(\hat{\beta}_{pw}\) 使式 \((4.3.1)\) 的 \(Q_w\) 达到极小。记

\[\begin{align*} W = \begin{bmatrix} w_1 & \\ & w_2 & \\ & & \ddots \\ & & & w_n \end{bmatrix} \end{align*} \]

可以证明，加权最小二乘估计的矩阵表达式为

\[\hat{\bm{\beta}}_w = (X' W X)^{-1} X' W \bm{y} \tag{4.3.2} \]

4.3.2 权值确定

多元线性回归有多个自变量，通常取权函数 \(W\) 为某个自变量 \(x_j\) 的幂函数，即 \(W=x_j^m\)。那在 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 这 \(p\) 个自变量中，应该取哪个自变量？只需计算每个自变量 \(x_j\) 与普通残差的等级相关系数，选取等级相关系数最大的自变量构造权函数。