摘要：
在generative model中，一般通过maximum likelihood来学习模型参数。含有隐藏变量时就需要将隐藏变量marginalize out，用marginal likelihood \(p(x) = \sum_h p(x, h)\)。对于log-likelihood，以下这个变换式是一个很常见的结论$$\begin{align*}\log \sum_h p(x,h) &= \log p(x)\\ &= \sum_h q(h) \log p(x) \\ &= \sum_h q(h) \log \frac{p(x,h)}{p(h|x)} \\ & 阅读全文
2014年2月24日
