混合模型和EM算法

1. k－means算法

 

k-means算法的loss function 可写成

其中，为指示变量，代表数据n被指派到类k，为类k的均值。k-means算法的核心为找到和以最小化loss function。优化方法为交替优化，先基于优化J，保持不变。同样基于优化J，不变。这两个阶段分别被称作EM算法的E（expectation） 步和M（maximization）步。

具体步骤为：

（1）数据指派到最近的聚类中心，确定，以最小化J；

（2）对J基于求导，得到，即为指派到聚类k的数据点的均值。

 

k-means算法也用来初始化高斯混合模型EM算法的参数，也可用来做简单的图像压缩。

 

2. 高斯混合模型

 

高斯混合分布可写成多个高斯分布的线性叠加

其中