【概率论】贝叶斯法则

基础知识描述：

联合概率：

定义：指在多元的概率分布中多个随机变量同时满足各自条件的概率。

举例：假设X和Y都服从正态分布，那么P{X<4,Y<0}就是一个联合概率，表示X<4,Y<0两个条件同时成立的概率。X与Y的联合概率表示为 P(XY) 或者P(X,Y),或者P（X∩Y）

 

条件概率：

定义：事件A在另外一个事件B已经发生条件下的发生概率。

举例：在B条件下A条件概率表示为P（A|B）

 

贝叶斯法则：

通常，事件A在事件B(发生)的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系,贝叶斯法则就是这种关系的陈述。作为一个规范的原理，贝叶斯法则对于所有概率的解释是有效的；然而，频率主义者和贝叶斯主义者对于在应用中概率如何被赋值有着不同的看法：频率主义者根据随机事件发生的频率，或者总体样本里面的个数来赋值概率；贝叶斯主义者要根据未知的命题来赋值概率。一个结果就是，贝叶斯主义者有更多的机会使用贝叶斯法则。

故：如果只有A、B两个事件，那么可得出如下：

 P（A|B）= P(AB) / P(B)，P（B|A） = P（AB）/ P（A） ==> P（A|B） = P(B|A) * P(A) / P(B)

故：贝叶斯法则是关于随机事件A和B的条件概率和边缘概率的。

 P（A|B） = P(B|A) * P(A) / P(B) ≈ L(A|B) * P(A)

其中L(A|B)是在B发生的情况下A发生的可能性。

在贝叶斯法则中，每个名词都有约定俗成的名称：

1.P(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。    2.P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。

3.P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。

4.P(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）。

贝叶斯法则公式：

    后验概率 = (似然度 * 先验概率)/标准化常量

    即：后验概率与先验概率和似然度的乘积成正比。

    故：后验概率 = 标准似然度 * 先验概率

举例：

    对于事件A、B，A后验概率表示P（A|B），A先验概率表示P（A），似然度为P（B|A），标准化常量P（B）,故标准似然度为P(B|A)/P(B)