[Bayes] Variational Inference for Bayesian GMMs

为了世界和平，为了心知肚明，决定手算一次 Variational Inference for Bayesian GMMs

 

 

目的就是达到如下的智能效果，扔进去六个高斯，最后拟合结果成了两个高斯，当然，其余四个不是消失了，而是重叠在了一起。

是不是很神奇？！

---

 

写出联合分布，利用变分公式求近似。

 

首先 q*(z) --> p(z|x)

 

再瞧其他变量。

变为乘积的两部分，变形后发现：又成为了我们熟悉的分布！

 

这么折腾一圈，就是为了验证如下结论，找到近似各个变量的公式。 

当然，是基于一个假设，也就是后验分布的iid形式：