统计模型与推断II-notes4

合集 - 统计模型与推断(5)

1.统计模型与推断II 课程202-192.统计模型与推断II-notes302-263.统计作业12024-09-214.似然2024-10-10

5.统计模型与推断II-notes403-03

收起

SKX804 统计模型与推断 II

笔记 4: 可估计性与最小二乘估计量

书籍参考: Monahan (2008)
讲师: Sai Li 和 Kejun He
最后更新: 2025年2月

---

1. 动机

回顾 $b$ 的最小二乘估计量为：

$$\hat{b} = (X'X)^{-1}X'y + [I - (X'X)^{-1}(X'X)]z, \quad \text{对于任意 } z \in \mathbb{R}^p$$

当 $rank(X) < p$ 时，可能存在无限多个解。（这是因为 $I - (X'X)^{-1}(X'X)$ 是对 $N(X)$ 的投影。）因此，如果我们对某个特定的 $b_0$ 感兴趣，无论我们有多少样本，恢复它都是徒劳的。

当 $rank(X) < p$ 时，我们感兴趣的是哪些 $b$ 的函数是有意义的估计。特别地，在这笔记中，我们将研究哪些线性函数是可估计的。

2. 模型

在前面的笔记中，我们是从一个近似的观点出发的。现在，我们充分利用一般线性模型的形式：

$$y = Xb + e$$

其中：

• $y$ 是响应向量
• $X$ 是已知的设计矩阵
• $b$ 是未知但固定的系数向量
• $e$ 是误差向量，且有 $E(e) = 0$（假设）

这意味着 $E(y) = Xb$（线性均值模型）。

3. 可估计性

参数函数的可估计性对应于存在一个线性无偏估计量。

定义 4.1 (无偏估计量)
估计量 $t(y)$ 是一个无偏估计量，如果且仅如果 $E(t(y)) = \lambda'b$ 对所有 $b$ 成立。

定义 4.2 (线性估计量)
估计量 $t(y)$ 是一个线性估计量，当且仅当 $t(y) = c + a^Ty$ 对某些 $c$ 和 $a$ 成立。

定义 4.3 (线性可估计函数)
线性可估计的函数是指具有线性无偏估计量的函数。

定义 4.4 (可识别性)
令 $\mathcal{P} = \{P_\theta : \theta \in \Theta\}$ 为一个参数空间为 $\Theta$ 的统计模型。我们说 $\mathcal{P}$ 是“可识别的”，如果映射 $\theta \mapsto P_\theta$ 是一对一的：

$$P_{\theta_1} = P_{\theta_2} \Rightarrow \theta_1 = \theta_2 \quad \text{对于所有 } \theta_1, \theta_2 \in \Theta.$$

一般而言，线性估计量将采用形式 $c + a^Ty$ 的形式，对于某些 $c$ 和 $a$。然而，在我们的上下文中，我们可以将焦点限制在形式 $a^Ty$。

这是因为，如果一个需求无偏性：

$$E(c + a^Ty) = c + a^TXb = \lambda'b \quad \text{对于所有 } b.$$

因此，$c$ 必须为零，因为我们可以取 $b = 0$。因此，在这个上下文中，包含 $c$ 或不包含 $c$ 并没有区别。

推论 4.5 (结果 3.1)
函数 $\psi = \lambda'b$ 是线性可估计的当且仅当存在如此关系 $E(a^Ty) = \lambda'b$ 对所有 $b$，或者 $\lambda^T = a^TX$。

在这门课中，我们将称线性可估计函数为可估计的简写。如果该函数不是（线性）可估计的，我们称其为不可估计。经典问题是：

是什么使 $\lambda \in \mathbb{R}^p$ 使得 $\psi = \lambda'b$ 可估计？

示例 1 (例 3.1; 不可估计)

$$E[y_{i,j}] = \mu + \alpha_i, \quad i = 1, 2; \quad j = 1, 2.$$

假设我们希望估计 $\alpha_1$。那么对于 $b = (\mu, \alpha_1, \alpha_2)^T$ 和 $\lambda = (0, 1, 0)^T$，我们有 $\alpha_1 = \lambda'b$。我们尝试找到一个解决方案，使得：

$$X^Ta = \lambda \iff \begin{pmatrix} 1 & 1 & 1 & 1 \\ 1 & 1 & 0 & 0 \\ 0 & 0 & 1 & 1 \end{pmatrix} a = \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix}.$$

没有解决方案存在。

定理 4.6
设 $G$ 是 $X$ 的广义逆。在一般线性模型 $y = Xb + e$ 中，其中 $E(e) = 0$，以下条件是等价的：

1. $\psi = \lambda'b$ 是（线性）可估计的。
2. $\lambda^T = a^TX$ 对某个 $a$ 成立。
3. $\lambda^T = \lambda'GX$。

用更通俗的话来说，这个结果表明特定的函数 $\lambda'b$ 是可估计的，当且仅当它等于观察值的线性组合的期望值。

证明

(i) $\iff$ (ii)
$\psi$ 是可估计的 $\iff$ 存在一个这样的 $a$ 使得 $E(a^Ty) = a^TXb = \lambda'b$（由于 $E(e) = 0$）
$\iff$ $(a^TX - \lambda^T)b = 0 \text{ 对任意的 } b$
$\iff$ $a^TX = \lambda^T$

(ii) $\Rightarrow$ (iii)
$\lambda^T = a^TX \Rightarrow \lambda^TGX = a^TXGX = a^TX$

(iii) $\Rightarrow$ (i)
$\lambda^T = \lambda'GX \Rightarrow \lambda^T = a^TX$，通过取 $a^T = \lambda'G$。

注意到（ii）等价于 $\lambda \in C(X^T)$。

如果在（iii）中使用摩尔-彭罗斯伪逆，则有 $X^+X$，这是 $C(X^T)$ 上的一个对称投影。由于 $X'X$ 的对称性，（iii）变为 $\lambda = X^+X\lambda$。换句话说，这要求 $\lambda$ 在 $C(X^T)$ 中。

$\psi = \lambda'b$ 的可估计性可以通过以下方式进行检验：

1. 构造一个简单的无偏线性估计量 $a^Ty$。
2. 代数方式证明 $\lambda^T = \lambda'GX$ 对于广义逆 $G$ 的 $X$。常用的选择是 $G = X^+$，它可以通过 $X$ 的奇异值分解（SVD）获得。
3. 将 $\lambda'b$ 表示为 $E(y_i)$ 的线性组合，其中 $y_i$ 是 $y$ 的第 $i$ 项。
4. 显示 $\lambda \in C(X^T)$。这可以通过证明 $\lambda$ 是 $C(X^T)$ 的一个基的线性组合，或验证 $\lambda$ 垂直于 $N(X)$ 的每一个基向量来实现。

考虑单因素方差分析模型：

$$y_{ij} = \mu + \alpha_i + e_{ij} \quad j = 1, \ldots, n_j, \quad i = 1, \ldots, a,$$

其中 $E(e_{ij}) = 0$。如果我们按 $i$ 对 $y_{ij}$ 进行排序，然后按 $j$ 排成 $y$，则

$$X = \begin{pmatrix} 1_{n_1} & 1_{n_1} & \cdots & 0 \\ n_2 & 0 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1_{n_a} \end{pmatrix}, \quad b = \begin{pmatrix} \mu \\ \alpha_1 \\ \vdots \\ \alpha_a \end{pmatrix}.$$

注意到 $N = \sum_{i=1}^{a} n_i, \quad p = a + 1$ 并且 $rank(X) = a$。因此，$N(X)$ 的维数为 1。$N(X)$ 的一个基向量是：

$$v = \begin{pmatrix} 1 \\ -1 \\ \vdots \\ -1 \end{pmatrix}.$$

方法 4：任意与 $v$ 正交的 $\lambda$ 导致可估计的函数。换句话说，$\lambda'b = \lambda_0\mu + \sum_{i=1}^{a} \lambda_i\alpha_i$ 是可估计的，当且仅当 $\lambda_0 - \sum_{i=1}^{a} \lambda_i = 0$。以下是一些示例：

• $\mu + \alpha_i$
• $\alpha_i - \alpha_k$
• $\sum_{i=1}^{a} d_i\alpha_i$ 如果 $\sum_{i=1}^{a} d_i = 0$。

方法 3：$E[y_{1,j}] = \mu + \alpha_1$ 和 $E[y_{1,j} - y_{3,j}] = \alpha_1 - \alpha_3$。

定义 4.7 (定义 3.4)
对于任意函数 $\psi = \lambda'b$，我们称 $\hat{\psi} = \lambda'\hat{b}$ 为 $b$ 的最小二乘估计量。

定理 4.8 (结果 3.2)
假设 $\hat{b}$ 是任意 $b$ 的最小二乘估计量。函数 $\psi = \lambda'b$ 具有独特的最小二乘估计量 $\hat{\psi} = \lambda'b$，当且仅当 $\psi$ 是（线性）可估计的。

证明

$\Leftarrow$ : 假设 $\psi$ 是可估计的。根据定理 4.6，我们可以写 $\lambda^T = a^TX$ 对某个 $a$。我们知道，对于任意 $z$，

$$\hat{b} = (X'X)^{-1}X'y + [I - (X'X)^{-1}(X'X)]z。$$

现在，

$$\hat{\psi} = \lambda'\hat{b} = \lambda'[(X'X)^{-1}X'y + (I - (X'X)^{-1}(X'X)]z = a^TX(X'X)^{-1}X'y + a^T[X' - (X'X)^{-1}(X'X)]z = a^TPx + a^T(X - Px)z = a^TPx'y = a^TXX^+y = \lambda'\hat{b},$$

由于定理 3.9 及其讨论。

{$\Rightarrow$}: 假设 $\hat{\psi} = \lambda'\hat{b}$ 对于每一个 $\hat{b}$ 是唯一的。我们有 $\lambda^T(I - (X'X)^{-1}(X'X))z = 0 \text{ 对所有 } z$。这意味着 $\lambda^T = \lambda'(X'X)^{-1}(X'X) = a^TX$，通过取 $a^T = \lambda'(X'X)^{-1}X^T$。根据定理 4.6，这完成了证明。

定理 4.9 (结果 3.3)
最小二乘估计量 $\lambda'\hat{b}$ 是（线性）可估计函数 $\lambda'b$ 的线性无偏估计量。

证明

根据定理 4.8，$\lambda'\hat{b} = \lambda'X^+y$ 显然是线性估计量。根据定理 4.6，有：

$$E(\lambda'X^+y) = \lambda'X^+b = \lambda'b,$$

因此它是无偏的。

---

示例 3 单因素方差分析

我们将为这些可估计函数写下最小二乘估计量：

• $\mu + \alpha_i$
• $\alpha_i - \alpha_k$
• $\sum_{i=1}^{a} d_i\alpha_i \text{ 如果 } \sum_{i=1}^{a} d_i = 0$。

首先，

$$X'X = \begin{pmatrix} N & n_1 & n_2 & \cdots & n_a \\ n_1 & 0 & 0 & \cdots & 0 \\ n_2 & 0 & n_2 & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ n_a & 0 & 0 & \cdots & n_a \end{pmatrix}, \quad (X'X)^{-1} = \begin{pmatrix} 0 & 0 & 0 & \cdots & 0 \\ 0 & 1/n_1 & 0 & \cdots & 0 \\ 0 & 0 & 1/n_2 & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & 1/n_a \end{pmatrix},$$

对于任意 $z$，其中 $\bar{y_j} = \sum_{i=1}^{n_j}y_{ij}/n_j$。$\mu + \alpha_i$、$\alpha_i - \alpha_k$ 和 $\sum_{i=1}^{a} d_i\bar{y_i}$（对于 $\sum_{i=1}^{a} d_i = 0$）是 $\bar{y_i}, \bar{y_i} - \bar{y_k}$ 和 $\sum_{i=1}^{a} d_i\bar{y_i}$。注意，它们不依赖于 $z$。

4. 施加唯一解的条件

在单因素方差分析模型 $y_{ij} = \mu + \alpha_i + e_{ij}, \quad j = 1, \ldots, N_{ij}, \quad i = 1, \ldots, a$ 中，我们通常会对正态方程的解施加条件，以便获得特别方便的解。这些条件的常见选择包括：

1. $\alpha_a = 0$ 或 $\alpha_1 = 0$。
2. $\sum_{i} \alpha_i = 0$。
3. $\sum_{i} n_i \alpha_i = 0$。

一个普遍性的问题是：

我们是否总能施加一组条件以获得唯一解？

我们将研究以下设置。写出 $X$ 的秩为 $r$。假设条件采取形式 $Cb = 0$，其中 $C \in \mathbb{R}^{p \times p}$，$s = p - r$，而$\text{rank}(C) = s$。结合这些条件，我们考虑增广的线性方程组：

$$\begin{pmatrix} X'X & C \\ \end{pmatrix} b = \begin{pmatrix} X'y \\ 0 \end{pmatrix}。$$

根据推论 3.10，我们可以改为考虑：

$$\begin{pmatrix} X' & C \\ \end{pmatrix} b = \begin{pmatrix} P_Xy \\ 0 \end{pmatrix}。$$

唯一解的重要标准是左侧的秩必须为 $p$。否则，我们可以选择一个非零向量从零空间中取出，并将其添加到解中形成另一个解。换句话说，我们必须确保：

$$C \left( X' C^T \right) = \mathbb{R}^p. \tag{4.1}$$

显然，如果 $C(C^T) \cap N(C^T) \neq \{0\}$，则 $\text{dim}(C(C^T)) < p$，因为 $s = p - r$。因此，我们希望 $C(C^T) \cap N(C^T) = \{0\}$，这意味着对于每个非零向量 $a \in \mathbb{R}^s$，$C^T a \notin C(X^T)$。

这暗示着，为了构造唯一解的 $C$，我们需要找到 $s = p - r$ 条线性无关的行，且每一个对应一个不可估计的函数。

示例 4 (Monahan (2008) 的示例 3.7)

再次考虑单因素方差分析模型。假设 $a = 3$ 且 $n_i = n$ 对于所有 $i = 1, 2, 3$（平衡情况）。那么 $C(X^T)$ 的基向量为：

$$\begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix}, \quad \begin{pmatrix} 1 \\ 0 \\ 1 \end{pmatrix}, \quad \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix}.$$

请考虑约束向量：

$$C^T = \begin{pmatrix} 0 \\ 1 \\ 1 \\ 1 \end{pmatrix}.$$

显然，$C^T$ 不是可估计的，因为它与 $N(X) = \text{span}\{[1, -1, -1, -1]^T\}$ 垂直（如前面的例子所推导的）。同时 $s = 1 = 4 - 3 = p - r$。

回顾确保 $\text{rank}([X', C^T]) = p$ 时，我们需要 $C$ 满足：

$$\text{rank}(C) = p - r \tag{4.2}$$

$$C(C^T) \cap C(X^T) = \{0\} \tag{4.3}$$

现在我们需要证明这些条件足以使系统 (4.1) 一致。更进一步，我们将直接显示有唯一解。

引理 4.10
系统 (4.1) 与以下系统等价：

$$\begin{pmatrix} X'X & C \\ C^T & 0 \end{pmatrix} b = \begin{pmatrix} X'y \\ 0 \end{pmatrix}. \tag{4.4}$$

证明
根据引理 3.1，$Cb = 0$ 意味着 $b \in N(C) = N(C^TC)$，因此 $C^TCb = 0$ 意味着 $Cb = 0$。因此，(4.1) 与 (4.4) 等价。

引理 4.11
假设 $C$ 满足 (4.3)。则系统 (4.4) 与以下系统等价：

$$(X'X + C^TC) b = X'y \tag{4.5}$$

证明
注意到 (4.4) 意味着 (4.5)。剩下的就是证明 (4.5) 意味着 (4.4)。注意到 (4.5) 意味着

$$C^Tb = X'y - Xb$$

左边属于 $C(C^T)$，而右边属于 $C(X^T)$。根据 (4.3)，$C^TC = 0$。因此，(4.5) 意味着 (4.4)。

推论 4.12

假设 $C$ 满足 (4.2) 和 (4.3)。那么：

1. $(X'X + C'C)$ 是非奇异的。
2. $(X'X + C'C)^{-1}X'y$ 是 $X'Xb = X'y$ 和 $Cb = 0$ 的唯一解。
3. $(X'X + C'C)^{-1}$ 是 $X'X$ 的广义逆。
4. $C(X'X + C'C)^{-1}X^T = 0$。
5. $C(X'X + C'C)^{-1}C^T = I.$（作业）

证明

(i) 由于 (4.2) 和 (4.3)，$\text{rank}([X', C^T]) = p$。因此，根据引理 3.1，

$$\mathbb{R}^p = C([X', C^T]) = C\left(\begin{pmatrix} X' \\ C^T \end{pmatrix} \begin{pmatrix} X \\ C \end{pmatrix}\right) = C(X'X + C'C)，$$

这意味着 $X'X + C'C$ 为 $p \times p$ 矩阵，是非奇异的。

(ii) 这由 (i) 以及引理 4.10 和 4.11 推出。

(iii) （由 (ii) 推导）

$$X'y = X'X (X'X + C'C)^{-1}X'y。$$

因此，$X'X(X'X + C'C)^{-1} = X'$，所以 $X'X(X'X + C'C)^{-1}X = X'$，完成证明。

(iv) （由 (ii) 推导）

$$C(X'X + C'C)^{-1}X'y = 0 \text{ 对所有 } y。$$

这意味着 $C(X'X + C'C)^{-1}X^T = 0$。

(v) 【注意：作业 3.22：提示：设置**

$$Z = \begin{pmatrix} X \\ C \end{pmatrix}$$

并找出幂等矩阵 $P_Z$，然后使用 (iii) 和 (iv)。设 $Z = \begin{pmatrix} X \\ C \end{pmatrix}$。

根据引理 3.7 和定理 2.15，$C(Z)$ 的投影矩阵为：

$$Z(Z'Z)^{-1}Z' = Z(X'X + C'C)^{-1}Z' = \begin{pmatrix} X(X'X + C'C)^{-1}X' & 0_{s,N} \\ 0_{N,s} & C(X'X + C'C)^{-1}C^T \end{pmatrix} = \begin{pmatrix} P_X & 0_{s,N} \\ 0_{N,s} & C(X'X + C'C)^{-1}C^T \end{pmatrix}，$$

根据 (iii) 和 (iv)。因为 $\text{rank}(C) = s$，所以存在 $a_1, \ldots, a_s \in \mathbb{R}^p$ 使得

$$Z a_j = \begin{pmatrix} X a_j \\ e_j \end{pmatrix} \in C(Z)。$$

其中 $e_j$ 是 $\mathbb{R}^s$ 的第 $j$ 个标准向量。也就是说，$e_j$ 的第 $j$ 项为 1，其余为 0。由于投影的性质，

$$Z(Z'Z)^{-1}Z' (Za_j) = Za_j。$$

对于 $j = 1, \ldots, s$，这意味着

$$C(X'X + C'C)^{-1}C e_j = e_j。$$

因此，对于 $j = 1, \ldots, s$，这意味着 $C(X'X + C'C)^{-1}C^T = I_s$。

示例 5 (Monahan (2008) 的示例 3.7 续)

我们假设示例 3 的设置。现在，

$$X'X + C'C = \begin{pmatrix} 3n & n & n & n \\ n & 0 & 0 & 0 \\ 0 & n & 0 & 0 \\ 0 & 0 & n & 0 \\ 0 & 0 & 0 & n \end{pmatrix} + \begin{pmatrix} 0 & 0 & 0 & 0 \\ 0 & 1 & 1 & 1 \\ 0 & 1 & 1 & 1 \\ 0 & 1 & 1 & 1 \end{pmatrix} = \begin{pmatrix} 3n & n & n & n \\ n & n + 1 & 1 & 1 \\ n & 1 & n + 1 & 1 \\ n & 1 & 1 & n + 1 \end{pmatrix}.$$

其逆为：

$$\frac{1}{9n} \begin{pmatrix} 3 + n & -n & -n & -n \\ -n & n + 6 & n - 3 & n - 3 \\ -n & n - 3 & n + 6 & n - 3 \\ -n & n - 3 & n - 3 & n + 6 \end{pmatrix}.$$

因此，

$$C(X'X + C'C)^{-1} = \begin{pmatrix} -\frac{1}{3} & \frac{1}{3} & \frac{1}{3} & \frac{1}{3} \end{pmatrix}.$$

现在可以验证推论 4.12 的 (iii) 和 (iv)。

5. 约束参数空间

观察 $y$ 的期望为 $Xb$，其中 $b \in T$（而不是 $\mathbb{R}^p$）：

$$T = \{ b \in \mathbb{R}^p : P^Tb = \delta \}，$$

其中 $P \in \mathbb{R}^{p \times q}$ 具有满秩，$\delta \in C(P^T)$（这保证了系统的一致性 $P^Tb = \delta$）。我们将假设在本节中 $P$ 和 $\delta$ 的这些条件。与前面的部分不同，我们现在考虑可估计和不可估计的约束。我们的兴趣在于研究约束如何影响可估计性，以及如何获得约束最小二乘估计量。

定义 4.13

函数 $\lambda'b$ 在受限模型 $T$ 中是可估计的，当且仅当存在 $c$ 和 $a$ 使得 $E(c + a'y) = \lambda'b$ 对所有满足 $P^tb = \delta$ 的 $b$ 成立。

注意，如果 $\lambda'b$ 在不受限模型中是可估计的，那么它对所有 $b \in \mathbb{R}^p$ 具有线性无偏估计量，并且在受限模型中是可估计的。

定理 4.14

$(c + a'y)$ 是 $\lambda'b$ 的无偏估计量，当且仅当存在 $s$ 使得 $\lambda = X^Ta + Pd$ 和 $c = d'\delta$。

证明
（⇐） 假设存在 $s$ 使得 $\lambda = X^Ta + Pd$，且 $c = d'\delta$。因此，

$$E(c + a'y) = d'\delta + a'Xb = d'(\delta - P^Tb) + \lambda'b \text{ 对于 } b \in T。$$

（⇒） 假设 $(c + a'y)$ 是 $\lambda'b$ 的无偏估计量，对于所有 $b \in T$。首先，$P^b = \delta$ 是一致的，因此解的形式为：

$$(P^T)^{-1}\delta + (I - (P^T)^{-1}P^T)z$$， 对于所有 $z$。因此，$$

c + a'X[(P^T)\delta + (I - (P^T)P^T)z] = a'Xb = \lambda'(P^T)\delta + (I - (P^T)P^T)z

$$对于所有 $z$。因此，$$

c + a'X[(P^T)\delta] = \lambda'(P^T)\delta + (I - (P^T)P^T)z=0

$$对于所有 $z$。因此 $c + (a'X - \lambda')(P^T)^{-1}\delta = 0$，且 $(a'X - \lambda')$ 是 $0$，故 $(a'X - \lambda')$ 在 $N(W)$ 中是投影。因此，有 $C(W) = N(P^T)$。第二个 $(a'X - \lambda')W = 0$ 意味着 $X^Ta - \lambda = C(P)$。因此，存在 $s$ 使得 $\lambda = X^Ta + Pd$。 接下来，我们考虑 $c + a'Xb = \lambda'b$ 和 $c + a'X(X^Ta + Pd) = d'\delta$。这意味着 $P^Tb = \delta$。 ## 最优估计量的获得 为获得估计量，我们再次尝试最小化 $Q(b) = ||y - Xb||^2$。由于有约束，我们应该只在 $T$ 上最小化。我们可以采用拉格朗日乘数法。在这种情况下，拉格朗日函数为：$$

L(b, \theta) = ||y - Xb||^2 + 2\theta'(P^Tb - \delta)。

$$（这里的 2 是为了记号上的方便；人们总是可以用 $2 \theta$ 替代 $ \theta$。）为了找到拉格朗日函数的驻点，我们使用导数：$$

\frac{\partial L(b, \theta)}{\partial b} = -2X^T(y - Xb) + 2P\theta

\frac{\partial L(b, \theta)}{\partial \theta} = 2(P^Tb - \delta)。

$$设置这些为零，我们获得限制的正常方程：$$

$$\begin{pmatrix} X'X & P \ P^T & 0 \end{pmatrix}$$ $$\begin{pmatrix} b \ \theta \end{pmatrix}$$ = $$\begin{pmatrix} X'y \ \delta \end{pmatrix}$$ 。

$$## 定理 4.15 受限的正常方程是一致的。 **证明** 首先，由于方程 $P^Tb = \delta$ 是一致的，$\delta \in C(P^T)$。因此，$$

$$\begin{pmatrix} X'y \ \delta \end{pmatrix}$$ \in C\left( $$\begin{pmatrix} X^T & 0 \ 0 & P^T \end{pmatrix}$$ \right)。

$$现在，我们考虑一个向量 $v = [v_1, v_2]^T \in \mathbb{R}^{p+q}$，它在受限正常方程矩阵的零空间中。也就是说，$$

$$\begin{pmatrix} X'X & P \ P^T & 0 \end{pmatrix}$$ $$\begin{pmatrix} v_1 \ v_2 \end{pmatrix}$$ = $$\begin{pmatrix} 0 \ 0 \end{pmatrix}$$ 。

$$然后我们得到：$$

X'Xv_1 + Pv_2 = 0

P^Tv_1 = 0。

$$第一个方程意味着：$$

v_1'X'Xv_1 + v_1'Pv_2 = 0。

$$根据第二个方程，我们得到 $Xv_1 = 0$，这意味着 $v_1 \in N(X)$ 和 $v_2 \in N(P)$。因此，$$

N\left( $$\begin{pmatrix} X'X & P \ P^T & 0 \end{pmatrix}$$ \right) \subseteq N\left( $$\begin{pmatrix} X^T & 0 \ 0 & P \end{pmatrix}$$ \right)。

$$--- ## 定理 4.16 如果 $\hat{b}_H$ 是受限正常方程解的第一个分量，则 $\hat{b}_H$ 最小化 $Q(b)$ 在受限参数空间 $T$ 上。 **证明** 设 $\tilde{b}$ 是满足 $P^T\tilde{b} = \delta$ 的任意向量。现在，写作：$$

Q(\tilde{b}) = ||y - X\tilde{b}||^2 = ||y - X\hat{b}_H + X(\tilde{b} - \hat{b}_H)||^2
= Q(\hat{b}_H) + ||X(\tilde{b} - \hat{b}_H)||^2，

$$由于交叉项为 $2(\tilde{b} - \hat{b}_H)'X(y - X\hat{b}_H) = 2(\tilde{b} - \hat{b}_H)'P\hat{\theta}_H$，其中 $\hat{\theta}_H$ 是受限正常方程解的第二个分量。但 $P^T\hat{b}_H = P^T\tilde{b} = \delta$，因此交叉项为零。 现在，$$

Q(\tilde{b}) \geq Q(\hat{b}_H) \text{ 对于所有 } \tilde{b} \text{ 满足 } P^T\tilde{b} = \delta，\text{ 当且仅当 } X\hat{b}_H = X\tilde{b}。

$$--- ## 定理 4.17 设 $\hat{b}_H$ 为受限正常方程解的第一个分量。$\tilde{b}$ 满足 $P^T\tilde{b} = \delta$ 和 $Q(b) = Q(\hat{b}_H)$ 当且仅当 $\tilde{b}$ 也是受限正常方程的一个解。 **证明** **（⇒）**：根据上一个定理，$Q(\hat{b}_H) = Q(\tilde{b})$ 当且仅当 $X\hat{b}_H = X\tilde{b}$。因此，我们有 $X\hat{b}_H = X\tilde{b}$，设定 $\hat{\theta}$ 为受限正常方程解的第二个分量。再设 $\hat{\theta}$ 为另一受限正常方程解的第二个分量。因此，$$

X'X\hat{b}_H + P\hat{\theta} = X'y。

$$显然，$P^T\hat{b} = \delta$。因此，$\tilde{b}$ 也是受限正常方程的一个解。 **（⇐）**：设 $(\tilde{b}, \tilde{\theta})$ 为受限正常方程的解。从方程中，$P^T\tilde{b} = \delta$。根据定理 4.16，$\tilde{b}$ 和 $\hat{b}_H$ 是优化 $Q$ 的最小值，因此 $Q(\tilde{b}) = Q(\hat{b}_H)$。$$