马尔科夫链蒙特卡洛(Markov chain Monte Carlo)
(学习这部分内容大约需要1.3小时)
摘要
马尔科夫链蒙特卡洛(Markov chain Monte Carlo, MCMC) 是一类近似采样算法. 它通过一条拥有稳态分布 \(p\) 的马尔科夫链对目标分布 \(p\) 进行采样.
预备知识
学习MCMC需要以下预备知识
- 条件分布: MCMC常常被用于从条件分布中采样.
- 蒙特卡洛估计(Monte Carlo estimation)
- 马尔科夫链(Markov chains)
学习目标
- 知道基本的问题设定: 即你希望从一个难以处理的分布中采样近似样本.
- 能够检查马尔科夫链是否达到稳态分布, 可以使用细致平衡条件(detailed balance conditions)或者直接根据定义.
- 明白为什么我们可以平均几个具有相同稳态分布 \(p\) 的蒙特卡洛算子, 并获得一个稳态分布也是 \(p\) 的算子.
核心资源
(阅读/观看其中一个)
免费
-
Coursera: Probabilistic Graphical Models (2013)
简介: 一门概率图模型的在线课程作者: Daphne Koller
备注:- 点击"Preview"观看视频
-
Machine learning summer school: Markov chain Monte Carlo (2009)
简介: 一个MCMC方法的视频教程
位置: 29:08 to 69:40
网站
作者: Iain Murray -
Information Theory, Inference, and Learning Algorithms
简介: 一门研究生机器学习和信息论教材
位置: Section 29.6, "Terminology for Markov chain Monte Carlo methods," pages 372-374
网站
作者: David MacKay
付费
-
Pattern Recognition and Machine Learning(PRML)
简介: 一本研究生机器学习教材, 聚焦于贝叶斯方法
位置: Section 11.2, pages 537-542
网站
作者: Christopher M. Bishop
其他依赖知识: -
Probabilistic Graphical Models: Principles and Techniques
简介: 一本非常全面的概率AI研究生教材
位置: Section 12.3-12.3.3, pages 505-515网站
作者: Daphne Koller,Nir Friedman
相关知识
-
一些常用的 MCMC 算法包括:
- Gibbs采样: 每个变量在已知其他变量的条件分布中采样
- Metropolis-Hastings, 非常一般化的方法
Sequential importance sampling 是另一类采样方法
-
虽然 MCMC 通常用作近似推断技术, 但它也可以用于获得精确的样本.
-
我们可以使用 spectral graph 理论来分析 MCMC 采样器的 mixing 率
