9. Approximate Inference
Variational Inference
思想:用易于计算的 $Q(Z)$ 来近似后验概率 $P(Z|X)$ ,进行推理
Observed variables $X$ and hidden variables $Z$, $X=\{\textbf{x}_1,...,\textbf{x}_N\}$
Hidden variables include parameters and latent variables.
Learning/inference involves finding: $P(Z_1,Z_2,...|X)$
\[\ln P(X)=\sum_ZQ(Z) \ln P(X)=\sum_Z Q(Z) \ln \frac{P(Z,X)}{Q(Z)}\cdot \frac{Q(Z)}{P(Z|X)}\\\qquad=\mathcal{L}(Q)+KL(Q||P)\]
\[\mathcal{L}(Q)=\sum_Z Q(Z) \ln \frac{P(Z,X)}{Q(Z)} = \mathbb{E}_Q \ln P(Z,X)+\mathbb{H}(Q)\]
直接计算$P(Z|X)$比较困难,通过比较容易计算的 $Q(Z)$来逼近 $P(Z|X)$,逼近程度用$KL(Q||P)$来度量
\[\ln Q_j^*(Z_j)=\mathbb{E}_{i\neq j}[\ln P(X,Z)] + const\]