随笔分类 - 贝叶斯机器学习
摘要：在我们感兴趣的大多数概率模型中, 计算后验边际或准确计算归一化常数都是很困难的. 变分推断(variational inference)是一个近似计算这两者的框架. 变分推断把推断看作优化问题: 我们尝试根据某种距离度量来寻找一个与真实后验尽可能接近的分布(或者类似分布的表示)
阅读全文
摘要：马尔科夫链蒙特卡洛(Markov chain Monte Carlo, MCMC)是一种近似采样算法, 它通过定义稳态分布为 p 的马尔科夫链, 在目标分布 p 中进行采样. Metropolis-Hastings 是找到这样一条马尔科夫链的非常一般的方法: 选择一个提议分布(proposal distribution), 并通过随机接受或拒绝该提议来纠正偏差. 虽然其数学公式是非常一般化的, 但选择好的提议分布却是一门艺术.
阅读全文
摘要：MCMC是一类近似采样算法
阅读全文
摘要：Gibbs采样是一种马尔科夫连蒙特卡洛(Markov Chain Monte Carlo, MCMC)算法, 其中每个随机变量从给定剩余变量的条件分布迭代地重新采样. 它是在概率模型中执行后验推理的简单且常用的高效方法.
阅读全文
摘要：在贝叶斯参数估计中, 除了先验是特别选定的情况下, 通常要积分掉所有模型参数是没有解析解的. 在这种情况下, 最大后验(maximum a posteriori, MAP)估计是一种常用的近似. 在MAP中, 我们选择最大化后验的参数. 尽管这种方法提供了计算方便, 但它也是有缺点的
阅读全文
摘要：贝叶斯网络是表达概率模型的结构的图示. 即随机变量间可能的互相依赖形式. 直观地来说, 贝叶斯网络擅于表示因果关系, 图中的边确定哪些变量直接影响哪些变量.
阅读全文
摘要：这是一份贝叶斯机器学习路线图, 正在不断更新中. 路线图由简短的介绍配以相应的学习资源组成, 读者不一定要按顺序学习, 可以直接定位到自己需要的地方. 很多时候, 我们希望自学某个领域的知识, 学习能力是不差的, 但苦于不知该学哪些, 从何学起, 看什么书/视频好? 各个概念/知识点之间是怎样的联系? 这份路线图是为解决以上问题而生的, 对于学习贝叶斯机器学习应该十分有帮助. 若您发现错漏, 欢迎评论指正! 也希望有更多的人愿意分享自己所在领域的"学习路线图"!
阅读全文
摘要：在模型选择中, 我们通常从一组候选模型中选择一个"最优"的模型(基于某种模型评价准则, 比如AIC分数). 然后, 使用这个选定的"最优"模型进行预测. 与这种选择单一最优模型不同的是, 贝叶斯模型平均给每个模型赋予权重, 并进行加权平均确定最终的预测值. 其中, 给某个模型赋予的权重是该模型的后验概率.
阅读全文
摘要：Beta 分布是单位区间上的一个概率分布. 它常在贝叶斯统计中被用作 Bernoulli 分布的共轭先验
阅读全文
摘要：给定另一随机变量Y的随机变量X的条件分布是当观察到Y取某一值时X的分布。
阅读全文
摘要：贝叶斯规则是一个结合先验信念和观测证据(译者注: 数据)获得后验的公式. 它是贝叶斯统计中的重要角色, 在该公式的帮助下, 我们可以在给定数观测数据的情况下, 推断统计模型中参数的后验.
阅读全文
