2.统计模型与推断II-notes302-26

3.统计作业12024-09-21 4.似然2024-10-10 5.统计模型与推断II-notes403-03

1 最小二乘问题

回顾设置：

y = X b + e,

$y = Xb + e,$

其中 $y \in \mathbb{R}^N, X \in \mathbb{R}^{N \times p}, b \in \mathbb{R}^p$ 和 $e \in \mathbb{R}^N$ .从逼近的角度来看, 我们希望选择 $b$ 以最小化平方距离：

Q (b) = (y - X b)^{⊤} (y - X b) = ‖ y - X b ‖^{2}

$Q(b) = (y - Xb)^\top (y - Xb) = \|y - Xb\|^2$

通过微分, 我们得到正常方程：

X^{⊤} X b = X^{⊤} y .

$X^\top Xb = X^\top y.$

示例 1：简单线性回归

回顾模型：

y_{i} = β_{0} + β_{1} x_{i} + e_{i}, i = 1, \dots, N,

$y_i = \beta_0 + \beta_1 x_i + e_i, \quad i = 1, \ldots, N,$

这可以写成 $y = Xb + e$ , 其中

y = [\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{N} \end{matrix}], X = [\begin{matrix} 1 & x_{1} \\ 1 & x_{2} \\ ⋮ & ⋮ \\ 1 & x_{N} \end{matrix}], b = [\begin{matrix} β_{0} \\ β_{1} \end{matrix}] 和 e = [\begin{matrix} e_{1} \\ e_{2} \\ ⋮ \\ e_{N} \end{matrix}] .

$y = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_N \end{bmatrix}, \quad X = \begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ \vdots & \vdots \\ 1 & x_N \end{bmatrix}, \quad b = \begin{bmatrix} \beta_0 \\ \beta_1 \end{bmatrix} \quad \text{和} \quad e = \begin{bmatrix} e_1 \\ e_2 \\ \vdots \\ e_N \end{bmatrix}.$

由于：

X^{⊤} X b = \sum_{i = 1}^{N} x_{i} β_{0} + \sum_{i = 1}^{N} x_{i}^{2} β_{1} 和 X^{⊤} y = [\begin{matrix} \sum_{i = 1}^{N} y_{i} \\ \sum_{i = 1}^{N} x_{i} y_{i} \end{matrix}],

$X^\top Xb = \sum_{i=1}^N x_i \beta_0 + \sum_{i=1}^N x_i^2 \beta_1 \quad \text{和} \quad X^\top y = \begin{bmatrix} \sum_{i=1}^N y_i \\ \sum_{i=1}^N x_iy_i \end{bmatrix},$

正常方程是：

N β_{0} + (\sum_{i = 1}^{N} x_{i}) β_{1} = \sum_{i = 1}^{N} y_{i}

$N\beta_0 + \left(\sum_{i=1}^N x_i\right) \beta_1 = \sum_{i=1}^N y_i$

(\sum_{i = 1}^{N} x_{i}) β_{0} + (\sum_{i = 1}^{N} x_{i}^{2}) β_{1} = \sum_{i = 1}^{N} x_{i} y_{i} .

$\left(\sum_{i=1}^N x_i\right) \beta_0 + \left(\sum_{i=1}^N x_i^2\right) \beta_1 = \sum_{i=1}^N x_i y_i.$

[课堂笔记：第一个方程导致 $\hat{\beta_0} = \bar{y} - \hat{\beta_1} \bar{x}.$ ] 设 $\bar{x} = (1/N) \sum_{i=1}^N x_i$ , 而 $\bar{y} = (1/N) \sum_{i=1}^N y_i$ .

如果 $\sum_{i=1}^N (x_i - \bar{x})^2 > 0$ , 则对正常方程的解 $(\hat{\beta_0}, \hat{\beta_1})$ 是：

\hat{β_{1}} = \frac{\sum_{i = 1}^{N} (x_{i} - \bar{x}) y_{i}}{\sum_{i = 1}^{N} (x_{i} - \bar{x})^{2}}

$\hat{\beta_1} = \frac{\sum_{i=1}^N (x_i - \bar{x})y_i}{\sum_{i=1}^N (x_i - \bar{x})^2}$

\hat{β_{0}} = \bar{y} - \hat{β_{1}} \bar{x} .

$\hat{\beta_0} = \bar{y} - \hat{\beta_1} \bar{x}.$

当 $\sum_{i=1}^N (x_i - \bar{x})^2 = 0$ 时, $x_i$ 是全部相同的.很容易通过验证其行列式为零来确认 $X^\top X$ 是奇异的.或者, 你可以通过注意到 $X$ 是秩为 $1$ 的（见下面的引理 3.1）来得出这个结论.实际上, 存在无限多的解：

\hat{β_{1}} = c

$\hat{\beta_1} = c$

\hat{β_{0}} = \bar{y} - \hat{β_{1}} \bar{x}

$\hat{\beta_0} = \bar{y} - \hat{\beta_1} \bar{x}$

对于所有 $c \in \mathbb{R}$ .

现在, 我们将回答两个基本问题：

正常方程是否总是一致的？（存在解的条件？回顾一下我们关于在线性方程组求解中的结果, 笔记 2需要一致的系统.）
如果 $\hat{b}$ 是正常方程的解, $\hat{b}$ 是否总是最小化 $Q(b)$ ？（回顾一下可能存在多个正常方程的解.）

我们将从线性方程组 $X^\top Xb = X^\top y$ 的角度研究这些问题, 以及广义逆矩阵和投影矩阵的应用.

2 一致性

在笔记 2 中, 一致性是使用广义逆来求解正常方程的基本条件.如果 $X^\top X$ 是非奇异的, 则 $(X^\top X)^{-1}X^\top y$ 是一个解.在这种情况下, 正常方程是相容的, 并且解确实是唯一的.但我们如何看待正常方程的一般情况呢？这个问题简化为： $X^\top y \in C(X^\top)$ ？（为什么？）以下引理告诉我们更多关于 $C(X^\top)$ 的信息.

引理 3.1.

对于任意矩阵 $X$ , 我们有：
(i) $N(X^\top X) = N(X)$ ,
(ii) $C(X^\top X) = C(X^\top)$ 和 (iii) $\text{rank}(X^\top) = \text{rank}(X^\top X)$ .

证明
(i) 如果 $v \in N(X)$ , 则 $Xv = 0$ , 因此 $X^\top Xv = 0$ , 这意味着 $v \in N(X^\top X)$ .如果 $v \in N(X^\top X)$ , 则 $X^\top Xv = 0$ 且 $||Xv||^2 = ||Xv||^2 = 0$ , 这意味着 $v \in N(X)$ .综上所述, $N(X^\top X) = N(X)$ .

(ii) 这由 (i) 和定理 2.17 直接推导.

(iii) 这由 (i) 直接推导.

定理 3.2.

正常方程是一致的.

证明
正常方程是一致的, 当且仅当 $X^\top y \in C(X^\top)$ .根据引理 3.1, $C(X^\top) = C(X^\top)$ .显然, $X^\top y \in C(X^\top)$ .

根据定理 2.11, 还可以推导出具有最小欧几里得范数的解.这个解直接与唯一定义的莫尔-彭若斯伪逆 $X^+$ 相关.

结论 3.3（作业）. $X^+y$ 是具有最小欧几里得范数的解.

证明根据定理 2.11, $(X^\top X)^+X^\top y$ 是具有最小欧几里得范数的解.现在, 我们将检查莫尔-彭若斯伪逆的四个属性, 以验证 $(X^\top X)^+X^\top$ 是 $X$ 的莫尔-彭若斯伪逆. （回顾一下, 莫尔-彭若斯伪逆是唯一的.）
(i) 这由引理 3.7 推导.
(ii) $(X^\top X)^+X^\top X(X^\top X)^+X^\top = (X^\top X)^+X^\top$ 根据引理 3.7.
(iii) $(X^\top X)^+X^\top X$ 是对称的, 这是由于莫尔-彭若斯伪逆 $(X^\top X)^+$ 的性质.
(iv) $X(X^\top X)^+$ 是对称的, 因为 $X^\top X$ 是对称的, 其广义逆也是对称的.

3 每个正常方程的解都最小化 $Q$

根据定理 2.22, $I - X(X^\top X)^{-1}X^\top$ 是一个正交投影矩阵, 投影到 $N(X)$ 上.这为第二个问题提供了一个直观的答案, 关于每个正常方程的解是否最小化误差 $Q$ .对于 $b$ , 我们有 $b = X^+y + (I - X(X^\top X)^{-1})z$ , 由于投影的性质, 选择 $z$ 不会影响 $Xb$ 的值.回想一下 $Xb$ 被视为 $y$ 的一个近似值.这意味着, 每个解都提供相同的近似值.

定理 3.4.

$\hat{b}$ 是正常方程 $X^\top Xb = X^\top y$ 的解当且仅当 $\hat{b}$ 最小化 $Q(\cdot)$ .

证明：这通过上述论证得以证明.假设 $\hat{b}$ 最小化 $Q(\cdot)$ .令 $\tilde{b}$ 是正常方程中的解.从上述论证中, 我们有

Q (b) = Q (\hat{b}) + ‖ X (b - \hat{b}) ‖^{2} .

$Q(b) = Q(\hat{b}) + \|X(b - \hat{b})\|^2.$

代入 $\tilde{b}$ , $||X(\hat{b} - \tilde{b})||^2$ 必须为零, 因为 $\hat{b}$ 是一个最小值.这意味着 $Xb = X\hat{b}$ , 因此 $X^\top Xb = X^\top y$ . $\blacksquare$

这个定理还表明, 从最佳近似的角度来看, 仅仅限制我们的注意力在正常方程的解上并不会有任何损失.

定理 3.5.

$Xb$ 对于每个解 $\hat{b}$ 到正常方程都有相同的值.

回顾一下 $Q(b) = \|y - Xb\|^2$ .上述定理表明, $Q$ 对于每个解都有相同的值.要声称每个解都最小化 $Q$ , 我们只需展示 $Q$ 被一个解所最小化.因此, 我们专注于任意解 $\hat{b}$ .不难证明：

Q (b) = Q (\hat{b}) + ‖ X (\hat{b} - b) ‖^{2} .

$Q(b) = Q(\hat{b}) + \|X(\hat{b} - b)\|^2.$

[课堂笔记：课前展示这一点.] 注意 $\|X(\hat{b} - b)\|^2 \geq 0$ , 当我们设 $b = \hat{b}$ 时它达到0.因此 $\hat{b}$ 是一个最小化 $Q$ 的解.

引理 3.6.

对于任何矩阵 $X$ 和任何矩阵 $P$ 和 $Q$ 适当维度, $X^\top XP = XQ$ 意味着 $XP = XQ$ .

证明

(X P - X Q)^{⊤} (X P - X Q) = (P - Q)^{⊤} (X P - X Q) = 0.

$(XP - XQ)^{\top}(XP - XQ) = (P - Q)^{\top}(XP - XQ) = 0.$

根据引理 2.24, 我们有 $XP = XQ$ .

引理 3.7.

$(X^\top X)^{-1}$ 是 $X$ 的广义逆.

证明
设 $P = (X^\top X)^{-1}X^\top$ , 我们在引理 3.6 中检查, 并且验证 $XP = X(X^\top X)^{-1}X^\top = X^\top X = X^T$ . 因此, $X(X^\top X)^{-1}X^\top = XP = XQ$ , 这意味着 $(X^\top X)^{-1}$ 是一个广义逆.

根据定理 2.7, 解的一个一般形式为

(X^{⊤} X)^{- 1} X^{⊤} y + [I - (X^{⊤} X)^{- 1} (X^{⊤} X)] z .

$(X^\top X)^{-1}X^\top y + [I - (X^\top X)^{-1}(X^\top X)]z.$

对于任意 $z \in \mathbb{R}^p$ , 这个引理提供了 $X$ 的广义逆.

定理 3.8.

$P_X = X(X^\top X)^{-1}X^\top$ 是投影到 $C(X)$ 的投影矩阵, 即 $P_X$ 满足：

(a) 幂等

(b) 投影到 $C(X)$

(d) 对称且

(e) 唯一.

而且, $I - P_X$ 是投影到 $N(X^\top)$ 的唯一对称投影.

示例2

对于 $X = 1_N$ , 即 $N$ 个 $1$ 的列, 找到 $P_1y$ 和 $(I_N - P_1)y$ .

4 最小二乘问题的几何

正常方程暗示了一个有趣的几何结果：

X^{⊤} X b = X^{⊤} y

$X^\top Xb = X^\top y$

当且仅当

X^{⊤} (y - X b) = 0

$X^\top(y - Xb) = 0$

y - X b ⊥ 每一列的 X

$y - Xb \perp \text{每一列的 } X$

y - X b ⊥ 每个向量在 {x : b \in R^{p}} .

$y - Xb \perp \text{每个向量在 } \{x: b \in \mathbb{R}^p\}.$

这里 $\hat{y} = Xb \in C(X)$ 被称为拟合值向量, 而 $\hat{e} = y - X\hat{b} \in N(X^\top)$ 被称为残差向量.根据正常方程, $X^\top \hat{e} = 0$ .根据定理 2.16, $C(X)$ 和 $N(X^\top)$ 是正交补.因此, $y = \hat{y} + \hat{e}$ 给出了 $y$ 的正交分解.

注意到 $XX^*$ 是投影矩阵到 $C(X)$ , 根据定理 2.21.如果 $XX^* = X(X^\top X)^{-1}X^\top$ 是对称的, $I - XX^*$ 是正交补 $C(X)$ 的对称投影矩阵, 根据结论 2.26.但是, 我们知道 $(X^\top X)^{-1}$ 可能不是对称的（见下面的例子）.我们能找到一个非对称的 $XX^*$ 吗？

定理 3.9.

$XX^* = X(X^\top X)^{-1}X^\top$ 是对称的, 并且对广义逆 $(X^\top X)^{-1}$ 的选择不变.

证明我们首先证明它对广义逆的选择是不变的 $(X^\top X)^{-1}$ .设 $G_1$ 和 $G_2$ 是两个广义逆.因此：

(X^{⊤} X) G_{1} (X^{⊤} X) = (X^{⊤} X) G_{2} (X^{⊤} X) = X^{⊤} X .

$(X^\top X)G_1(X^\top X) = (X^\top X)G_2(X^\top X) = X^\top X.$

取 $P = G_1X^\top X$ 和 $Q = G_2X^\top X$ 在引理 3.6 中, 则 $XG_1X^\top X = XG_2X^\top X$ , 这意味着 $X^\top XG_2X^\top = X^\top XG_1X^\top$ . 现在, 取 $P = G_1X^\top$ 和 $Q = G_2X^\top$ 在引理 3.6 中, 我们有 $XG_1X^\top = XG_2X^\top$ .

根据结论 2.10, $G_1$ 也是 $X^\top X$ 的广义逆.由于广义逆的选择的不变性, $XG_1X^\top = X(XG_1X^\top)^\top$ , 这证明了对称性.

[课堂笔记：回顾对称投影矩阵与其投影空间的唯一关联.]

由于只有一个对称投影矩阵到 $C(X)$ , 我们可以写出这样的投影为 $P_X$ .从上面, 我得出 $P_X = XX^*$ .

示例 3

设

X = [\begin{matrix} 1 & 1 & 1 \\ 0 & 0 & - 1 \\ 1 & 0 & 2 \end{matrix}], X^{⊤} X = [\begin{matrix} 2 & 1 & 2 \\ 1 & 2 & 1 \\ 2 & 1 & 2 \end{matrix}] .

$X = \begin{bmatrix} 1 & 1 & 1 \\ 0 & 0 & -1 \\ 1 & 0 & 2 \end{bmatrix}, \quad X^\top X = \begin{bmatrix} 2 & 1 & 2 \\ 1 & 2 & 1 \\ 2 & 1 & 2 \end{bmatrix}.$

首先, 我们来看莫尔-彭若斯伪逆：

X^{+} = [\begin{matrix} 1 / 6 & 1 / 12 & - 1 / 12 \\ 1 / 3 & 5 / 12 & - 1 / 12 \\ 1 / 6 & 1 / 12 & 1 / 12 \\ 0 & - 1 / 4 & 1 / 4 \end{matrix}], X X^{+} = [\begin{matrix} 2 / 3 & 1 / 3 & 1 / 3 \\ 1 / 3 & 2 / 3 & - 1 / 3 \\ 1 / 3 & - 1 / 3 & 2 / 3 \end{matrix}] .

$X^+ = \begin{bmatrix} 1/6 & 1/12 & -1/12 \\ 1/3 & 5/12 & -1/12 \\ 1/6 & 1/12 & 1/12 \\ 0 & -1/4 & 1/4 \end{bmatrix}, \quad XX^+ = \begin{bmatrix} 2/3 & 1/3 & 1/3 \\ 1/3 & 2/3 & -1/3 \\ 1/3 & -1/3 & 2/3 \end{bmatrix}.$

这里 $G_1$ 是 $X^\top X$ 的广义逆：

G_{1} = [\begin{matrix} 2 / 3 & - 1 / 3 & 0 & 0 \\ - 1 / 3 & 2 / 3 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{matrix}], X G_{1} X^{⊤} = [\begin{matrix} 2 / 3 & 1 / 3 & 1 / 3 \\ 1 / 3 & 2 / 3 & 1 / 3 \\ 1 / 3 & - 1 / 3 & 2 / 3 \end{matrix}] .

$G_1 = \begin{bmatrix} 2/3 & -1/3 & 0 & 0 \\ -1/3 & 2/3 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix}, \quad XG_1X^\top = \begin{bmatrix} 2/3 & 1/3 & 1/3 \\ 1/3 & 2/3 & 1/3 \\ 1/3 & -1/3 & 2/3 \end{bmatrix}.$

这里 $G_2$ 是 $X^\top X$ 的非对称广义逆（由于展示时的小截断误差）：

G_{2} = [\begin{matrix} 0.11666667 & 0.16439935 & - 0.195465368 & 0.08106602 \\ 0.12904401 & 0.30774410 & 0.005473785 & - 0.10892557 \\ - 0.12475469 & - 0.02988155 & 0.434517797 & - 0.11321489 \\ 0.04571068 & - 0.10892557 & - 0.077859548 & 0.14107443 \end{matrix}] .

$G_2 = \begin{bmatrix} 0.11666667 & 0.16439935 & -0.195465368 & 0.08106602 \\ 0.12904401 & 0.30774410 & 0.005473785 & -0.10892557 \\ -0.12475469 & -0.02988155 & 0.434517797 & -0.11321489 \\ 0.04571068 & -0.10892557 & -0.077859548 & 0.14107443 \end{bmatrix}.$

可以验证：

X G_{1} X^{⊤} = X G_{2} X^{⊤} = X X^{+} .

$XG_1X^\top = XG_2X^\top = XX^+.$

结论 3.10.

正常方程的解也是一致方程 $Xb = P_Xy$ 的解, 反之亦然.

证明：
$\Longleftarrow$ ：假设 $\hat{b}$ 是正常方程的解.也就是说, $X\hat{b} = XX^*y = P_Xy$ .

$\Longrightarrow$ ：假设 $Xb = P_Xy$ .这意味着 $X^\top b = X^\top P_Xy = X^\top y$ , 因为 $P_X$ 是对称的.

示例 4 (Monahan (2008) 的例子 2.5)

设

y = [\begin{matrix} 1 \\ 2 \end{matrix}], X = [\begin{matrix} 1 & 0 \\ 1 & 1 \\ 0 & 0 \end{matrix}] .

$y = \begin{bmatrix} 1 \\ 2 \end{bmatrix}, \quad X = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 0 & 0 \end{bmatrix}.$

因此, 正常方程 $X^\top Xb = X^\top y$ 是

[\begin{matrix} 2 & 1 \\ 1 & 1 \end{matrix}] [\begin{matrix} b_{1} \\ b_{2} \end{matrix}] = [\begin{matrix} 3 \\ 2 \end{matrix}] .

$\begin{bmatrix} 2 & 1 \\ 1 & 1 \end{bmatrix} \begin{bmatrix} b_1 \\ b_2 \end{bmatrix} = \begin{bmatrix} 3 \\ 2 \end{bmatrix}.$

定理 3.11.

如果 $C(W) \subseteq C(X)$ , 那么 $P_X - P_W$ 是对称投影到 $C((I - P_W)X)$ .

证明首先, 我们检查 $P_X - P_W$ 是幂等的：

(P_{X} - P_{W})^{2} = P_{X} - P_{X} P_{W} - P_{W} P_{X} + P_{W} .

$(P_X - P_W)^2 = P_X - P_XP_W - P_WP_X + P_W.$

由于 $C(W) \subseteq C(X)$ , $P_XP_W = P_W$ 和 $P_WP_X = (P_XP_W)^\top = P_W$ , 由于对称性.此外, $P_X - P_W$ 显然是对称的.

其次, 由于 $C(X)$ 和 $N(X^\top)$ 是正交补, 对于任意 $u$ , 我们可以将其分解为 $u = Xs + t$ , 其中 $s \in R$ 和 $t \in N(X^\top)$ .

(P_{X} - P_{W}) u = X s - P_{W} X s \in C ((I - P_{W}) X) .

$(P_X - P_W)u = Xs - P_WXs \in C((I - P_W)X).$

第三, 如果 $y \in C((I - P_W)X)$ , 则 $y = (I - P_W)Xc$ 对某个 $c$ 成立.

(P_{X} - P_{W}) y = (P_{X} - P_{W}) (I - P_{W}) X c = (I - P_{W}) X c = y .

$(P_X - P_W)y = (P_X - P_W)(I - P_W)Xc = (I - P_W)Xc = y.$

示例 5 (Monahan (2008) 的例子 2.6)

回顾简单线性回归模型：

y_{i} = β_{0} + β_{1} x_{i} + e_{i}, x_{i} = i, i = 1, \dots, 4 = N .

$y_i = \beta_0 + \beta_1 x_i + e_i, \quad x_i = i, \quad i = 1, \ldots, 4 = N.$

因此,

X = [\begin{matrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \\ 1 & 4 \end{matrix}], X^{⊤} X = [\begin{matrix} 4 & 10 \\ 10 & 30 \end{matrix}] .

$X = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \\ 1 & 4 \end{bmatrix}, \quad X^\top X = \begin{bmatrix} 4 & 10 \\ 10 & 30 \end{bmatrix}.$

显然, $X^\top X$ 是非奇异的, 并且：

(X^{⊤} X)^{- 1} = (X^{⊤} X)^{- 1} = [\begin{matrix} 3 / 2 & - 1 / 2 \\ - 1 / 2 & 1 / 5 \end{matrix}] .

$(X^\top X)^{-1} = (X^\top X)^{-1} = \begin{bmatrix} 3/2 & -1/2 \\ -1/2 & 1/5 \end{bmatrix}.$

因此,

P_{X} = X (X^{⊤} X)^{- 1} X^{⊤} = \frac{1}{10} [\begin{matrix} 7 & 4 & 1 & - 2 \\ 4 & 3 & 2 & 1 \\ 1 & 2 & 3 & 4 \\ - 2 & 1 & 4 & 7 \end{matrix}] .

$P_X = X(X^\top X)^{-1}X^\top = \frac{1}{10} \begin{bmatrix} 7 & 4 & 1 & -2 \\ 4 & 3 & 2 & 1 \\ 1 & 2 & 3 & 4 \\ -2 & 1 & 4 & 7 \end{bmatrix}.$

让我们关注 $X$ 的第一列, $1 = [1, 1, 1, 1]^T$ , 相应的投影矩阵为

P_{1} = \frac{1}{100} [\begin{matrix} 25 & 25 & 25 & 25 \\ 25 & 25 & 25 & 25 \\ 25 & 25 & 25 & 25 \\ 25 & 25 & 25 & 25 \end{matrix}] .

$P_1 = \frac{1}{100} \begin{bmatrix} 25 & 25 & 25 & 25 \\ 25 & 25 & 25 & 25 \\ 25 & 25 & 25 & 25 \\ 25 & 25 & 25 & 25 \end{bmatrix}.$

注意到 $P_1y = [\bar{y}, \bar{y}, \bar{y}, \bar{y}]^T$ .因此：

P_{X} - P_{1} = \frac{1}{20} {[\begin{matrix} 3 & 1 & - 1 & - 3 \end{matrix}]}^{T} .

$P_X - P_1 = \frac{1}{20} \begin{bmatrix} 3 & 1 & -1 & -3 \end{bmatrix}^T.$

(P_{X} - P_{1}) (c_{1})

$(P_X - P_1)(c_1)$

对于任意 $c \in \mathbb{R}$ ？

5 重参数化

定义 3.12.

两个线性模型, $y = Xb + e$ 和 $y = Wc + e$ 其中 $X \in \mathbb{R}^{N \times p}$ , $W \in \mathbb{R}^{N \times t}$ , 被称为彼此等价或重参数化当且仅当 $C(X) = C(W)$ .

要注意的是, $C(X) = C(W)$ 意味着 $\{Xb : b \in \mathbb{R}^p\}$ 和 $\{Wc : c \in \mathbb{R}^t\}$ 是相同的.因此可能的回归函数空间是相同的.同时, 由于对称投影矩阵对其投影空间是唯一的.

结论 3.13.

如果 $C(X) = C(W)$ , 那么 $P_X = P_W$ .此外, 拟合值 $P_X y$ 和 $P_W y$ 在两个参数化中是相同的.残差也相同.

结论 3.14.

假设 $\hat{c}$ 解决正常方程 $W^\top W\hat{c} = W^\top y$ , 并且 $C(X) = C(W)$ .那么 $\hat{b} = T\hat{c}$ 解正常方程 $X^\top Xb = X^\top y$ , 其中 $T$ 是矩阵, $T = P_X$ .

证明

X^{⊤} X T \hat{c} = X^{⊤} W \hat{c} = X^{⊤} P_{W} y = X^{⊤} y .

$X^\top X T \hat{c} = X^\top W \hat{c} = X^\top P_W y = X^\top y.$

示例 6 (Monahan (2008) 的例子 2.8)

考虑三个组的方差分析模型：

y_{i j} = μ + α_{i} + e_{i j}, j = 1, \dots, n_{i}, i = 1, \dots, 3.

$y_{ij} = \mu + \alpha_i + e_{ij}, \quad j = 1, \ldots, n_i, \quad i = 1, \ldots, 3.$

按照笔记1中描述的方式排列观察值, 我们有：

X b = [\begin{matrix} 1 & n_{1} & 1 & 0 & 0 \\ 1 & n_{2} & 1 & n_{2} & 0 \\ 1 & n_{3} & 0 & 0 & 1 \end{matrix}] [\begin{matrix} μ \\ α_{1} \\ α_{2} \\ α_{3} \end{matrix}] .

$Xb = \begin{bmatrix} 1 & n_1 & 1 & 0 & 0 \\ 1 & n_2 & 1 & n_2 & 0 \\ 1 & n_3 & 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} \mu \\ \alpha_1 \\ \alpha_2 \\ \alpha_3 \end{bmatrix}.$

另一个参数化是：

y_{i j} = c_{1} + c_{2} + e_{i j}, i = 1 y_{i_{j}} = c_{1} + c_{3} + e_{i j}, i = 2 y_{i j} = c_{1} + e_{i j}, i = 3

$y_{ij} = c_1 + c_2 + e_{ij}, \quad i = 1 \\ y_{i_j} = c_1 + c_3 + e_{ij}, \quad i = 2 \\ y_{ij} = c_1 + e_{ij}, \quad i = 3 \\$

为此, 我们有：

W c = [\begin{matrix} 1 & n_{1} & 1 & 0 \\ 1 & n_{2} & 1 & n_{2} \\ 1 & n_{3} & 0 & 0 \end{matrix}] [\begin{matrix} c_{1} \\ c_{2} \\ c_{3} \end{matrix}] .

$Wc = \begin{bmatrix} 1 & n_1 & 1 & 0 \\ 1 & n_2 & 1 & n_2 \\ 1 & n_3 & 0 & 0 \end{bmatrix} \begin{bmatrix} c_1 \\ c_2 \\ c_3 \end{bmatrix}.$

由于 $X$ 的前三列与 $W$ 的三列相同, 且 $X$ 的最后一列是三列的线性组合, 因此 $C(X) = C(W)$ .

W = [\begin{matrix} 1 & 1 & n_{1} & 0 \\ 1 & 2 & n_{2} & 1 \\ 1 & 3 & 0 & n_{3} \end{matrix}] = X^{⊤} .

$W = \begin{bmatrix} 1 & 1 & n_1 & 0 \\ 1 & 2 & n_2 & 1 \\ 1 & 3 & 0 & n_3 \end{bmatrix} = X^\top.$

示例 6

另一个最小二乘法的几何视角

定理 3.15.

设 $\hat{b} = \arg\min_{b \in \mathbb{R}^p} \|y - Xb\|^2$ .它满足：

{\hat{b}}_{j} = \frac{⟨ x_{j}^{⊥}, y ⟩}{‖ x_{j}^{⊥} ‖^{2}},

$\hat{b}_j = \frac{\langle x_j^\perp, y \rangle}{\|x_j^\perp\|^2},$

其中 $x_j^\perp = P^\perp(x_j | X_{-j})$ .

引理 3.16.

（分块矩阵逆公式）.对于一个对称且可逆的矩阵 $\Sigma = \begin{pmatrix} \Sigma_{1,1} & \Sigma_{1,2} \\ \Sigma_{2,1} & \Sigma_{2,2} \end{pmatrix}$ , 有：

Σ^{- 1} = (\begin{matrix} (Σ_{1, 1} - Σ_{1, 2} Σ_{2, 2}^{- 1} Σ_{2, 1})^{- 1} & - (Σ_{1, 1} - Σ_{1, 2} Σ_{2, 2}^{- 1} Σ_{2, 1})^{- 1} Σ_{1, 2} Σ_{2, 2}^{- 1} \\ - Σ_{2, 1} (Σ_{1, 1} - Σ_{1, 2} Σ_{2, 2}^{- 1} Σ_{2, 1})^{- 1} & Σ_{2, 2}^{- 1} + Σ_{2, 1} (Σ_{1, 1} - Σ_{1, 2} Σ_{2, 2}^{- 1} Σ_{2, 1})^{- 1} Σ_{1, 2} Σ_{2, 2}^{- 1} \end{matrix}) .

$\Sigma^{-1} = \begin{pmatrix} (\Sigma_{1,1} - \Sigma_{1,2}\Sigma_{2,2}^{-1}\Sigma_{2,1})^{-1} & -(\Sigma_{1,1} - \Sigma_{1,2}\Sigma_{2,2}^{-1}\Sigma_{2,1})^{-1}\Sigma_{1,2}\Sigma_{2,2}^{-1} \\ -\Sigma_{2,1}(\Sigma_{1,1} - \Sigma_{1,2}\Sigma_{2,2}^{-1}\Sigma_{2,1})^{-1} & \Sigma_{2,2}^{-1} + \Sigma_{2,1}(\Sigma_{1,1} - \Sigma_{1,2}\Sigma_{2,2}^{-1}\Sigma_{2,1})^{-1}\Sigma_{1,2}\Sigma_{2,2}^{-1} \end{pmatrix}.$

证明 [引理 3.16 的证明] 设 $\Theta = \Sigma^{-1}$ .我们知道 $\Theta$ 也是对称的.因此有：

(\begin{matrix} Σ_{1, 1} & Σ_{1, 2} \\ Σ_{2, 1} & Σ_{2, 2} \end{matrix}) = (\begin{matrix} Θ_{1, 1} & Θ_{1, 2} \\ Θ_{2, 1} & Θ_{2, 2} \end{matrix}) = (\begin{matrix} I_{m} & 0 \\ 0 & I_{n - m} \end{matrix}) (\begin{matrix} 0 & 0 \\ 0 & 0 \end{matrix}) .

$\begin{pmatrix} \Sigma_{1,1} & \Sigma_{1,2} \\ \Sigma_{2,1} & \Sigma_{2,2} \end{pmatrix} = \begin{pmatrix} \Theta_{1,1} & \Theta_{1,2} \\ \Theta_{2,1} & \Theta_{2,2} \end{pmatrix} = \begin{pmatrix} I_m & 0 \\ 0 & I_{n-m} \end{pmatrix} \begin{pmatrix} 0 & 0 \\ 0 & 0 \end{pmatrix}.$

这样可以得出：

Σ_{1, 1} Θ_{1, 1} + Σ_{1, 2} Θ_{2, 1} = I_{m},

$\Sigma_{1,1}\Theta_{1,1} + \Sigma_{1,2}\Theta_{2,1} = I_m,$

Σ_{1, 1} Θ_{1, 2} + Σ_{1, 2} Θ_{2, 2} = 0_{m \times (n - m)},

$\Sigma_{1,1}\Theta_{1,2} + \Sigma_{1,2}\Theta_{2,2} = 0_{m \times (n-m)},$

Σ_{2, 1} Θ_{1, 1} + Σ_{2, 2} Θ_{2, 1} = 0_{(n - m) \times m},

$\Sigma_{2,1}\Theta_{1,1} + \Sigma_{2,2}\Theta_{2,1} = 0_{(n-m) \times m},$

Σ_{2, 1} Θ_{1, 2} + Σ_{2, 2} Θ_{2, 2} = I_{n - m} .

$\Sigma_{2,1}\Theta_{1,2} + \Sigma_{2,2}\Theta_{2,2} = I_{n-m}.$

我们有：

Θ_{2, 1} = - Σ_{2, 2}^{- 1} Σ_{2, 1} Θ_{1, 1}, Θ_{1, 2} = - Σ_{1, 1}^{- 1} Σ_{1, 2} Θ_{2, 2} .

$\Theta_{2,1} = -\Sigma_{2,2}^{-1}\Sigma_{2,1}\Theta_{1,1}, \quad \Theta_{1,2} = -\Sigma_{1,1}^{-1}\Sigma_{1,2}\Theta_{2,2}.$

7 格拉姆-施密特正交化

上一篇统计模型与推断II 课程2

下一篇统计模型与推断II-notes4

本文作者：某宇_My

本文链接：https://www.cnblogs.com/Desire-My/p/18737880

posted @ 2025-02-26 10:14 某宇_My 阅读(20) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

相关博文：

· 统计模型与推断II-notes4

· 统计模型与推断II 课程2

· 2.3 Projection Matrices and Least Squares 阅读笔记

· 强撸MIT18-06灰飞烟灭（二）

· 数理统计笔记

某宇_My

统计模型与推断II-notes3

1 最小二乘问题

示例 1：简单线性回归

2 一致性

引理 3.1.

定理 3.2.

结论 3.3（作业）. $X^+y$ 是具有最小欧几里得范数的解.

3 每个正常方程的解都最小化 $Q$

定理 3.4.

定理 3.5.

引理 3.6.

引理 3.7.

定理 3.8.

示例2

4 最小二乘问题的几何

定理 3.9.

示例 3

结论 3.10.

示例 4 (Monahan (2008) 的例子 2.5)

定理 3.11.

示例 5 (Monahan (2008) 的例子 2.6)

5 重参数化

定义 3.12.

结论 3.13.

结论 3.14.

示例 6 (Monahan (2008) 的例子 2.8)

示例 6

定理 3.15.

引理 3.16.

7 格拉姆-施密特正交化

公告

常用链接

最新随笔

我的标签

积分与排名

合集

随笔档案

相册

阅读排行榜

某宇_My

统计模型与推断II-notes3

1 最小二乘问题

示例 1：简单线性回归

2 一致性

引理 3.1.

定理 3.2.

结论 3.3（作业）. X+yX+yX+yX^+y 是具有最小欧几里得范数的解.

3 每个正常方程的解都最小化 QQQQ

定理 3.4.

定理 3.5.

引理 3.6.

引理 3.7.

定理 3.8.

示例2

4 最小二乘问题的几何

定理 3.9.

示例 3

结论 3.10.

示例 4 (Monahan (2008) 的例子 2.5)

定理 3.11.

示例 5 (Monahan (2008) 的例子 2.6)

5 重参数化

定义 3.12.

结论 3.13.

结论 3.14.

示例 6 (Monahan (2008) 的例子 2.8)

示例 6

定理 3.15.

引理 3.16.

7 格拉姆-施密特正交化

公告

常用链接

最新随笔

我的标签

积分与排名

合集

随笔档案

相册

阅读排行榜

结论 3.3（作业）. $X^+y$ 是具有最小欧几里得范数的解.

3 每个正常方程的解都最小化 $Q$