对于贝叶斯理论来说,我们的核心目标是确定p(θ|X),即模型参数θ对于样本X的后验分布。
1、确定这个后验概率分布有什么用?
在使用贝叶斯模型进行推断的时候,我们是基于已有样本X(下边的公式中用D表示了,意义都一样),和新样本x*,给出该样本的类别估计(比如给出x*属于垃圾邮件的概率,等等)。那么这个类别估计等于什么呢?如下述公式所示:要考虑所有的模型参数θ(所以对θ进行了积分),对于每个θ,给出基于样本X的后验概率,最后基于该模型参数θ和样本x*,给出贝叶斯模型的推断结果,属于y^hat的概率。
简单来说,使用贝叶斯模型进行推断的时候,考虑了所有的模型参数;每个模型参数的概率,基于样本的后验概率【p(θ|X)】得到;最后,基于模型参数θ和给定样本x*得到推断结果。
2、如何计算这样的后验分布呢?
坑
2.1、 西瓜书中那种做法:要计算P(+|x)过渡到统计正样本的概率P(+)和P(x|+)【正样本中x出现的可能性】。由于x的维度非常高,P(x|+)基本趋近于0(可以这样理解,我手上的样本根本就没有见过x)。那怎么办嘛。来一个假设,假设样本的各个维度是独立,P(x|+)≈P(x_d1|+)P(x_d2|+)...P(x_dn|+)。P(x_d1|+)对于正样本来说是好统计的,以此类推。新来一个样本x,我们就能基于手上的样本,给出一个它属于正样本的概率了。 属于什么方法呢?
西瓜书中提到,计算P(+|x)【x属于正样本的概率】通过贝叶斯定理可以转换为计算P(x|+)【正样本中,x出现的概率】这样的条件概率太难计算了,所以为了绕开这个麻烦,遂提出了上述↑的方法。叫做朴素贝叶斯方法;
2.2、MCMC跟p(θ|X)有何关系?
在这篇博客中“https://www.cnblogs.com/little-YTMM/p/5399532.html”,说白了,使用模型进行推断时,就是要计算下式的复杂积分。所以,也是直接跳过计算p(θ|X),而是直接通过MCMC的方法,给出采样结果x。
蒙特卡洛方法解决的问题是:
1、推荐看刘建平的博客:https://www.cnblogs.com/pinard/p/6638955.html
2、蒙特卡罗方法最早都是为了求解一些不太好求解的积分问题;
3、根据博客https://www.cnblogs.com/little-YTMM/p/5399532.html,这个复杂积分可以通过下述方法进行估计: