摘要：
在我们感兴趣的大多数概率模型中, 计算后验边际或准确计算归一化常数都是很困难的. 变分推断(variational inference)是一个近似计算这两者的框架. 变分推断把推断看作优化问题: 我们尝试根据某种距离度量来寻找一个与真实后验尽可能接近的分布(或者类似分布的表示) 阅读全文
摘要：
马尔科夫链蒙特卡洛(Markov chain Monte Carlo, MCMC)是一种近似采样算法, 它通过定义稳态分布为 $p$ 的马尔科夫链, 在目标分布 $p$ 中进行采样. Metropolis-Hastings 是找到这样一条马尔科夫链的非常一般的方法: 选择一个提议分布(proposal distribution), 并通过随机接受或拒绝该提议来纠正偏差. 虽然其数学公式是非常一般化的, 但选择好的提议分布却是一门艺术. 阅读全文
摘要：
MCMC是一类近似采样算法 阅读全文
摘要：
一家"胡说八道医院"拥有一种治疗癌症的药物, 根据过去的记录, 该药物对一些患者非常有效, 但是会让一些患者感到更痛苦...
我们希望有一种判别准则能帮助我们判断哪些病人该吃药,哪些不能吃药.研究发现该癌症与基因表达有关,也许基因表达能给我们提供帮助... 阅读全文
摘要：
Gibbs采样是一种马尔科夫连蒙特卡洛(Markov Chain Monte Carlo, MCMC)算法, 其中每个随机变量从给定剩余变量的条件分布迭代地重新采样. 它是在概率模型中执行后验推理的简单且常用的高效方法. 阅读全文
摘要：
在贝叶斯参数估计中, 除了先验是特别选定的情况下, 通常要积分掉所有模型参数是没有解析解的. 在这种情况下, 最大后验(maximum a posteriori, MAP)估计是一种常用的近似. 在MAP中, 我们选择最大化后验的参数. 尽管这种方法提供了计算方便, 但它也是有缺点的 阅读全文
摘要：
贝叶斯网络是表达概率模型的结构的图示. 即随机变量间可能的互相依赖形式. 直观地来说, 贝叶斯网络擅于表示因果关系, 图中的边确定哪些变量直接影响哪些变量. 阅读全文