11.变分推断

一、背景（为什么要有变分推断？）

简单来说便是需要根据已有数据推断需要的分布P；当P不容易表达，不能直接求解时，可以尝试用变分推断的方法。即，寻找容易表达和求解的分布Q，当Q和P的差距很小的时候，Q就可以作为P的近似分布代替P。

 

二、公式推导

 

 三、总结

变分推断是利用已知分布通过调整使其符合我们需要却难以用公式表达的分布。由ELOB和KL散度的关系，通过得到ELOB的上界间接获得散度

　　　　KL(Q(z)||P(z|x))

对于ELOB的上界，又可以通过转化为相关的散度求解

　　　　KL(\Bbb{E}_{i\neq j}[\ln{P(x,z)}]||Q_j(z_j))

\begin{align*} KL(\Bbb{E}_{i\neq j}[\ln{P(x,z)}]||Q_j(z_j))\to ELOB\to KL(Q(z)||P(z|x)) \to 调整后的Q(z) \end{align*}
　　

用一张图来表示Q分布的变化:

 

 

参考文献：

【1】Variational Inference 变分推断

【2】机器学习-白板推导系列-变分推断（Variational Inference）

posted @ 2019-02-15 10:44  nxf_rabbit75  阅读(769)  评论(0)  编辑  收藏  举报