9. Approximate Inference

Variational Inference

思想：用易于计算的 $Q(Z)$ 来近似后验概率 $P(Z|X)$ ，进行推理

Observed variables $X$ and hidden variables $Z$, $X=\{\textbf{x}_1,...,\textbf{x}_N\}$

Hidden variables include parameters and latent variables.

Learning/inference involves finding: $P(Z_1,Z_2,...|X)$

 

\[\ln P(X)=\sum_ZQ(Z) \ln P(X)=\sum_Z Q(Z) \ln \frac{P(Z,X)}{Q(Z)}\cdot \frac{Q(Z)}{P(Z|X)}\\\qquad=\mathcal{L}(Q)+KL(Q||P)\]

\[\mathcal{L}(Q)=\sum_Z Q(Z) \ln \frac{P(Z,X)}{Q(Z)} = \mathbb{E}_Q \ln P(Z,X)+\mathbb{H}(Q)\]

 

直接计算$P(Z|X)$比较困难，通过比较容易计算的 $Q(Z)$来逼近 $P(Z|X)$,逼近程度用$KL(Q||P)$来度量

\[\ln Q_j^*(Z_j)=\mathbb{E}_{i\neq j}[\ln P(X,Z)] + const\]