【AI】Exponential Stochastic Cellular Automata for Massively Parallel Inference - 大规模并行推理的指数随机元胞自动机

【论文标题】Exponential Stochastic Cellular Automata for Massively Parallel Inference     （19th-ICAIS,PMLR）

（Proceedings of the 19th International Conference on Artificial Intelligence and Statistics, PMLR 51:966-975, 2016.）

【论文作者】Manzil Zaheer, Michael Wick, Jean-Baptiste Tristan, Alex Smola, Guy Steele 

【论文链接】Paper （10-pages // Double column）   Supplementary Material

 

【摘要】

　　我们提出了一种强大的并行、内存有效的隐含变量模型推理算法，其中完整的数据似然是指数族。该算法是一种随机元胞自动机，能够收敛到一个有效的最大后验不动点。应用于隐含的狄利克雷分配，我们发现我们的算法比当前最快的方法快一个数量级。在20个节点的Amazon EC2集群样例上的一个简单的c++/MPI实现，能够达到以每秒超过10亿个token的速度。我们处理了30亿份文件，并实现预测能力能与折叠吉布斯抽样和变分推断具有同样竞争力的结果。