PRML Chapter 9. Mixture Models and EM

今天从网上搜的 EM 算法的原始论文叫做 Maximum likelihood from incomplete data via the EM algorithm，下次仔细学习的时候可以看看，最近比较功利，就不弄得那么明白了。（2012@3@21）

9.1 K-means Clustering

主要介绍了 K-means 和 EM 算法之间的关系，第一次听说原来 K-means 就是 EM 算法，不知道的东东还真是多。

接下来第二小结是 Mixtures of Gaussians，看来不得不回2.3去看了。

9.2 Mixtures of Gaussians

这章内容太多，所以单独写成分日志。

第一部分链接：Mixtures of Gaussians

第二部分链接：9.2.1 Maximum likelihood

9.2.2 的推导看不明白，直接上结论

1. 对于GMM的EM算法，由于EM计算量大而且收敛慢，可以先用K-means找到几个中心，然后均值、方差和混合参数都可以根据K-means的结果设定初始值。

2. 需要防止模型在奇异点崩塌

3. EM不能保证找到全局最优值

下面不打字了，直接把书上截图了：