众包中的概率图模型和 EM 算法的使用和总结

### 这一篇博文待一个月后，我对 EM 算法的理解更加深刻后再来补上。

 大略翻看了《The EM Algorithm and Extensions 》 后感觉，EM 算法就是在数据不完备（有缺失、有中间过程隐变量）的时候，进行极大似然估计（MLE）时用到的一种技巧，其与概率图模型的联系似乎不是很大，EM 算法进行 MLE 时是逐步迭代地逼近模型的最优参数，是频率学派的工作，是在进行学习（learning）；而概率图模型（probabilistic graphical model）一般是 Bayesian学派，把模型参数作为随机变量，来进行结点的边缘分布的推断，直接求解模型参数的后验分布。一般精确推断的方法有变量消去，信念传播，而这些方式的计算复杂度很大；因为通常计算边缘分布需要进行 integration， 这在分布很复杂的情况下，一般是 intractable ，故一般引入近似推断，确定性近似（变分推断）和 随机近似（MCMC 采样和 Gibbs Sampling）。

另外，好像在使用 variational Bayes 时，是结合 EM 算法一起用的，或者说作为 EM 算法的一个小步骤。

 

在众包的paper 中 EM 算法被使用的很广泛，但是 EM 算法本身也是存在问题的；例如收敛到局部最优，严重依赖于初始值，无法知道最终的结果的误差等。

 

1. Online Crowdsourcing : rating annotators and obtaining cost-effective labels. (CVPR_workshop2010)

Bayesian treatment of Expectation Maximizatio algorithm

2.Whose Vote Should count more: Optimal Integration of labels from labelers of unknown expertise (NIPS09)

3. BCC model Bayesian classifier combination

4.Community-Based Bayesian Aggregation Models for Crowdsourcing