PRML第九章习题答案
Chapter 9. Mixture Models and EM
更新日志（截至20210408）
- 20210408：首次提交，含习题 9.11 的详解
习题简述
- \(k\)-means
- 9.1：证明 \(k\)-means 经有限步收敛
- 9.2：\(k\)-means 的序列优化
- 混合分布
- 混合高斯
- 9.3：验证高斯混合模型的表达式
- 9.4：用 EM 算法求解参数的后验分布
- 9.5：混合高斯后验分布的分解
- 9.6：在各高斯分布协方差矩阵相同的情形，推导混合高斯的 EM 算法
- 9.7-9.9：混合高斯优化
- 9.10：混合分布的条件分布也是混合分布
- 9.11：证明混合高斯在方差趋于零的情况下退化为 \(k\)-means
- 9.12：混合分布的均值和协方差
- 混合伯努利
- 9.13：以混合伯努利分布的优化的极端例子说明，使用 EM 算法时初始化的重要性
- 9.14-9.16：混合伯努利分布的 EM 算法
- 9.17：混合分布对数似然有上界，因而优化稳定
- 9.18：带先验的混合伯努利优化
- 混合多项分布
- 9.19：混合多项分布的优化
- 混合高斯
- 9.20-9.21：贝叶斯线性回归与 EM 的联系
- 9.22-9.23：相关向量机与 EM 的联系
- 9.24：KL 散度的变分下界
- 9.25：当潜变量的后验分布与先验一致时，变分下界等于似然
- 9.26-9.27：EM 算法的序列优化版本
习题详解
Exercise 9.11
Hint.
\[\begin{aligned}
\gamma(z_{nk})
&=\frac{\pi_k\exp\{-\|x_n-\mu_k\|^2/(2\epsilon)\}}{\sum_j\pi_j\exp\{-\|x_n-\mu_j\|^2/(2\epsilon)}\\
&=\frac{\pi_k\exp\{-(\|x_n-\mu_k\|^2 - \|x_n-\mu_i\|^2)/(2\epsilon)\}}{\sum_j\pi_j\exp\{-(\|x_n-\mu_j\|^2 - \|x_n-\mu_i\|^2)/(2\epsilon)}\\
&=\frac{\pi_k\exp\{-\Delta_{ki}/(2\epsilon)\}}{\pi_i+\sum_{j\neq i}\pi_j\exp\{-\Delta_{ji}/(2\epsilon)\}}\\
&\to\frac{\pi_k\delta_{ki}}{\pi_i+\sum_{j\neq i}\pi_j\delta_{ji}}\quad(\epsilon\to 0)\\
&=
\begin{cases}
0,\quad&k\neq i,\\
1,\quad&k=i.
\end{cases}
\end{aligned}
\]
其中，\(i=\arg\min_j\|x_n-\mu_j\|^2,\Delta_{ji}=\|x_n-\mu_j\|^2 - \|x_n-\mu_i\|^2\)。
故每个高斯分布退化为单点分布时，混合高斯退化为 \(k\)-means。
