概率图：GMM：EM算法及其收敛性证明

EM算法收敛性证明：

                                                                来源：B站up:shuhuai008,板书

EM（expectation maximization algorithm）:期望最大算法，分为“期望”和“最大两部分，分别用“E-step”和“M”step解决。

一、收敛性证明：

 其中，Q^(t)是Q(θ^(t)，θ^(t))的简略表达； Q^(t+1)是Q(θ^(t)，θ^(t+1))的简略表达；H^(t)，H^(t+1)同理，Q(θ^(t)，θ^(t+1))这样的表达更严谨，因为Q是θ^(t)和θ的函数，更准确的说是θ的函数，因为在迭代过程中θ^(t)是已知量。但是为了更清晰地表达迭代过程，所以表达为Q(θ^(t)，θ)。

推导过程中需要注意的点：

①P(Z|X,θ)是后验概率，在EM算法中假设后验是能直接求出的，但是实际问题中不一定能够得到，所以提出了EM的各个变种算法。

②注意Q(θ^(t)，θ^(t+1))中，θ^(t+1))代入联合概率P(X,Z|θ^(t+1))；θ^(t)代入条件P(Z|X,θ^(t))

③（如下图）P(X,Z|θ)是X和Z的联合概率。为什么会有联合概率的引入？这个涉及到EM算法求解混合模型的思想是：求解模型参数θ问题=>转换成求解最大似然P(X|θ)，简单模型可以直接求导得到解析解，但如果问题太过复杂，无法得到解析解，只能采用数值解法。数值解法的思想还是求解P(X|θ)，只不过复杂问题的P(X|θ)不能直接得出，所以引入了隐变量Z，构造出了混合模型（也叫生成模型）GMM,HMM等，隐变量的出现将概率P(X|θ)进行分解，使得P(X|θ)=P(X,Z|θ)/P(Z|X,θ)，从而将问题分解成更小的单位进行求解。

 

 

参考资料：

1.https://www.bilibili.com/video/BV1BW41117xo?p=9 ，作者：shuhuai008