EM算法的应用
一、高斯混合模型参数估计的EM算法
假设观测数据\(y_1, y_2,...,y_N\)由高斯混合模型生成
\[P(y|\theta) = \sum^k_{k=1} \alpha_k\phi(y|\theta_k)
\]
其中， \(\theta = (\alpha_1, \alpha_2,...,\alpha_k:\theta_1, \theta_2, ...,\theta_k)， 我们用EM算法算法估计高斯混合模型的参数\)\theta$。
-
明确隐变量，写出完全数据的对数似然函数
概率\(\alpha_k\)选择第\(k\)个高斯分布模型，然后第\(k\)个分模型的概率分布生成观测数据\(y_j\)，这时\(y_j\)是已知的， 但反观数据\(y_j\)来自第\(k\)个分模型是未知，以隐变量\(\gamma_{jk}\)表示，其定义如下
-
EM算法的E步， 确定Q函数
-
确定EM算法的M步
迭代的M步是求函数\(Q(\theta, \theta^{(i)})\), 即求新一轮迭代的模型参数
\[\theta^{(i+1)} = argmax Q(\theta, \theta^{(i)}
\]
