贝叶斯推断

参考文献：

http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html

贝叶斯定理：计算“条件概率”公式

条件概率：

就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示

如图，事件B发生的情况下，事件A发生的概率P(A|B)就是P(A∩B)除以P(B)

$P(A|B)=\frac{P(A\cap B)}{P(B)}$

因此，

$P(A\cap B)=P(A|B){P(B)}$

同理可得，

$P(A\cap B)=P(B|A){P(A)}$

所以，

$P(A|B){P(B)}=P(B|A){P(A)}$

即条件概率的计算公式

$P(A|B)=\frac{P(B|A){P(A)}}{{P(B)}}$

全概率：

假定样本空间S，是两个事件A与A'的和。

上图中，红色部分是事件A，绿色部分是事件A'，它们共同构成了样本空间S。

在这种情况下，事件B可以划分成两个部分。

即

$P(B)=P(B\cap A)+P(B\cap A')$

在上一节的推导当中，我们已知

$P(B\cap A)=P(B|A)P(A)$

所以，

$P(B)=P(B|A)P(A)+P(B|A')P(A')$

这就是全概率公式。它的含义是，如果A和A'构成样本空间的一个划分，那么事件B的概率，就等于A和A'的概率分别乘以B对这两个事件的条件概率之和。

将这个公式代入上一节的条件概率公式，就得到了条件概率的另一种写法：

$P(A|B)=\frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|A')P(A')}$

贝叶斯推断：

对条件概率公式进行变形，可以得到如下形式：

$P(A|B)=P(A)\frac{P(B|A)}{P(B)}$

我们把P(A)称为"先验概率"（Prior probability），即在B事件发生之前，我们对A事件概率的一个判断。P(A|B)称为"后验概率"（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。P(B|A)/P(B)称为"可能性函数"（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。

所以，条件概率可以理解成下面的式子：

　　后验概率　＝　先验概率ｘ调整因子

这就是贝叶斯推断的含义。我们先预估一个"先验概率"，然后加入实验结果，看这个实验到底是增强还是削弱了"先验概率"，由此得到更接近事实的"后验概率"。

在这里，如果"可能性函数"P(B|A)/P(B)>1，意味着"先验概率"被增强，事件A的发生的可能性变大；如果"可能性函数"=1，意味着B事件无助于判断事件A的可能性；如果"可能性函数"<1，意味着"先验概率"被削弱，事件A的可能性变小。

posted @ 2016-05-23 20:04 贝尔格里尔斯阅读(310) 评论(0) 编辑收藏举报

刷新页面返回顶部

贝尔格里尔斯

贝叶斯推断

公告