近似推断(2)
上式为最优解的一般表达式,是变分方法应用的基础。这个解表明,为了得到因子
的最优解的对谁,只需要考虑所有隐含变量和可见变量上的联合概率分布的对数,然后关于所有其他因子
取期望即可。
例子:高斯的变分混合
起始点是高斯混合模型的似然函数
解析:
1.对于每个观测,有一个对应的潜在变量
,是一个二值向量
;
数据集:;潜在变量:
;混合系数:
则Z 的条件概率分布形式:
2.似然函数:(使用的是精度矩阵不是协方差矩阵,在一定程度上简化了数学计算的复杂度)
3.先验分布::
:
4.变分:为了形式化地描述这个模型的变分方法,因此写出所有随机变量的联合概率分布:
5.潜在变量与参数之间进行分解:
6.分别列出公式
7.变分下界: