摘要：
这是一份贝叶斯机器学习路线图, 正在不断更新中. 路线图由简短的介绍配以相应的学习资源组成, 读者不一定要按顺序学习, 可以直接定位到自己需要的地方. 很多时候, 我们希望自学某个领域的知识, 学习能力是不差的, 但苦于不知该学哪些, 从何学起, 看什么书/视频好? 各个概念/知识点之间是怎样的联系? 这份路线图是为解决以上问题而生的, 对于学习贝叶斯机器学习应该十分有帮助. 若您发现错漏, 欢迎评论指正! 也希望有更多的人愿意分享自己所在领域的"学习路线图"! 阅读全文
摘要：
在我们感兴趣的大多数概率模型中, 计算后验边际或准确计算归一化常数都是很困难的. 变分推断(variational inference)是一个近似计算这两者的框架. 变分推断把推断看作优化问题: 我们尝试根据某种距离度量来寻找一个与真实后验尽可能接近的分布(或者类似分布的表示) 阅读全文
摘要：
马尔科夫链蒙特卡洛(Markov chain Monte Carlo, MCMC)是一种近似采样算法, 它通过定义稳态分布为 $p$ 的马尔科夫链, 在目标分布 $p$ 中进行采样. Metropolis-Hastings 是找到这样一条马尔科夫链的非常一般的方法: 选择一个提议分布(proposal distribution), 并通过随机接受或拒绝该提议来纠正偏差. 虽然其数学公式是非常一般化的, 但选择好的提议分布却是一门艺术. 阅读全文
摘要：
MCMC是一类近似采样算法 阅读全文
摘要：
一家"胡说八道医院"拥有一种治疗癌症的药物, 根据过去的记录, 该药物对一些患者非常有效, 但是会让一些患者感到更痛苦...
我们希望有一种判别准则能帮助我们判断哪些病人该吃药,哪些不能吃药.研究发现该癌症与基因表达有关,也许基因表达能给我们提供帮助... 阅读全文
摘要：
Gibbs采样是一种马尔科夫连蒙特卡洛(Markov Chain Monte Carlo, MCMC)算法, 其中每个随机变量从给定剩余变量的条件分布迭代地重新采样. 它是在概率模型中执行后验推理的简单且常用的高效方法. 阅读全文
摘要：
在贝叶斯参数估计中, 除了先验是特别选定的情况下, 通常要积分掉所有模型参数是没有解析解的. 在这种情况下, 最大后验(maximum a posteriori, MAP)估计是一种常用的近似. 在MAP中, 我们选择最大化后验的参数. 尽管这种方法提供了计算方便, 但它也是有缺点的 阅读全文
摘要：
贝叶斯网络是表达概率模型的结构的图示. 即随机变量间可能的互相依赖形式. 直观地来说, 贝叶斯网络擅于表示因果关系, 图中的边确定哪些变量直接影响哪些变量. 阅读全文
摘要：
损失函数或者说代价函数是一个把决策输出映射到一个损失实值的函数. 阅读全文
摘要：
在模型选择中, 我们通常从一组候选模型中选择一个"最优"的模型(基于某种模型评价准则, 比如AIC分数). 然后, 使用这个选定的"最优"模型进行预测. 与这种选择单一最优模型不同的是, 贝叶斯模型平均给每个模型赋予权重, 并进行加权平均确定最终的预测值. 其中, 给某个模型赋予的权重是该模型的后验概率. 阅读全文