MCMC马尔科夫链蒙特卡洛方法

继续看这些文章：

《你一定从未看过如此通俗易懂的马尔科夫链蒙特卡罗方法(MCMC)解读》上下

https://zhuanlan.zhihu.com/p/250146007

https://zhuanlan.zhihu.com/p/253784711

《如何快速理解马尔科夫链蒙特卡洛法？》

https://blog.csdn.net/weixin_39953236/article/details/111369770?spm=1001.2101.3001.6650.7&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-7.pc_relevant_default&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-7.pc_relevant_default&utm_relevant_index=10

 

 

https://blog.csdn.net/qq_27388259/article/details/112001362

参考这篇文章

马尔科夫链蒙特卡洛方法，英文是Markov Chain Monte Carlo，简称MCMC。是一种随机性近似推断方法，它也是求解隐变量后验分布的一种推断方法，核心思想是求复杂概率分布p(z)下对函数f(z)的期望值：

 

 

 

也就是用N的样本均值作为期望值。问题就转化为尽量保证采集的N个样本能反映总体。也就是如何进行采集更加合理。

 

1.MCMC是一种随机性近似推断方法，核心思想是求复杂概率分布下的期望值

2.采样的样本应该趋于高概率区域以及样本之间相互独立

3.如果p(z)分布简单，可以通过概率分布采样得到所需要的样本

4.大多情况下，归一化因子无法求解和维度灾难的问题，无法直接得到p(z)分布

5.需要近似的方法去求解期望，主要借助蒙特卡洛随机近似思想

6.常用的蒙特卡洛采样方法有拒绝采样、重要性采样和MCMC

7.拒绝采样主要通过提议分布逼近复杂概率分布p(z)得到采样点

8.重要性采样直接对期望采样，可以解决原分布难采样的问题

 

采样整体介绍

对于采样任务来说，它的动机一般有两种：

• 采样作为任务，用于生成新的样本 

• 求和/求积分

 

采样后，我们想知道这些样本是否可以代表总体，也就是采集的样本是不是好的样本，评价标准有两个：

• 样本趋向于高概率的区域

• 样本之间必须独立

 

常用的有三种：概率分布采样（CDF Sampling）、拒绝采样（Rejection Sampling）和重要性采样（Importance Sampling）。