sampling method
sampling method
背景
在贝叶斯框架下,利用后验分布对参数进行估计,也即
其中
(1)是参数的先验分布。
(2)是似然分布,数据集的生成联合概率
(3)是参数的后验分布。
通常分布很复杂,所以可以采用sampling方法从中采样样本,表示后验分布。如计算参数的期望。
其中是从中抽取的一组样本。
MCMC
马尔科夫蒙特卡洛方法(MCMC)是最常用的采样技术。其关键是通过构造平稳分布为的马尔科夫链,则此时产出的样本近似服从分布。
平稳分布
设
(1)马尔科夫链的状态转移概率为。
(2)在时刻状态的分布为
若此时
则马尔科夫链满足细致平稳条件,是该马尔科夫链的平稳分布。
Metropolis-Hasting算法
- initialize
- for i = 0 to N - 1
if
else:
证明:
因此,满足细致平稳条件,且服从
MH算法关键是选择,虽然理论上可以随便选。
Gibbs采样算法
gibbs主要用于对多维分布采样
initialize
证明
由采样流程:
则代入MH
所以,gibbs是MH的一种特殊形式。