EM算法的基本原理和推导
参考:
从最大似然到EM算法浅解
EM算法的九层境界:Hinton和Jordan理解的EM算法
在EM算法的证明中,其实比较好理解,总结如下:
从最大似然估计出发 ====> 将隐变量暴露出来,写出累加/积分的 形式 ===> 引入Q(z),表示隐变量z的概率密度函数
==> 对于log函数,利用 Jensen不等式的变形: f(E(x) >= E(f(x)),得到最大似然函数的下界
===> 对于log函数的Jenson不等式而言,只有当 X的变量取常量时,则可以不等式才能取到等号;
则得到等式;
以上的过程如下:
具体的计算过程如下:
固定好了Q(z),再去调整参数 Θ ,使得下界最大,如下图所示:
收敛性的证明:见参考一或吴恩达的课程
--------------------
--------------------