全概率和贝叶斯公式

全概率公式

设 $B_{1},B_{2},...,B_{n}$ 是一个完备事件组且都有正概率，则对任一个事件 $A$ 有

$$P(A) = \sum_{i=1}^{n}P(AB_{i}) = \sum_{i=1}^{n}P(B_{i})P(A|B_{i})$$

将复杂的事件划分为简单的 $AB_{1},AB_{2},..,AB_{n}$，因为简单事件的概率比较容易计算，所以当各个事件互斥时，可以利用加法公式

和条件概率公式计算出 $A$ 的概率。

事件 $A$ 的发生有各种可能的原因 $B_{i}$，全概率公式可以看作由原因推结果的公式，每个原因对结果的发生都有一定的作用。

全概率公式是一种先验概率，就是根据经验给出的概率，注意这里也只是经验上的概率，可能是非常准确的，也可能是不准确的，

    1）一个袋子里有 $10$ 个球，其中 $6$ 个黑球，$4$ 个白球；那么随机抓一个黑球的概率是 $0.6$！那这个先验概率就很准确。

    2）已知一老战士与一新战士射击命中率分别为 $0.9$ 与 $0.5$，这个概率只是根据有限次的射击试验所得出来的，不一定非常准确。

于是有了后验概率，后验概率就是经过随机试验后，由结果对先验概率进行修正。修正方法用的是下面介绍的贝叶斯公式。

 

贝叶斯公式

设 $B_{1},B_{2},...,B_{n}$ 是一个完备事件组且都有正概率，则对于任意事件 $A$($P(A) > 0$)，有

$$P(B_{i}|A) = \frac{P(AB_{i})}{P(A)} = \frac{P(B_{i})P(A|B_{i})}{\sum_{j=1}^{n}P(B_{j})P(A|B_{j})}$$

在事件 $A$ 已经发生的情况下，贝叶斯公式可以用来寻找导致 $A$ 发生的各种原因 $B_{i}$ 的概率。

贝叶斯公式是一种逆向概率，所谓“逆向概率”是相对“正向概率”而言。由上面可以知道正向概率可能并不准确，需要修正。如：

我们已经知道袋子里面有 $N$ 个球，不是黑球就是白球，其中 $M$ 个是黑球，那么把手伸进去摸一个球，就能知道摸出黑球的概率是多少。

这种情况往往是上帝视角，即了解了事情的全貌再做判断。但现实生活中基本都无法知道总体全部，只能根据有限的样本进行估计然后

得到一个经验概率。

贝叶斯公式中也出现了先验概率，这些概率由经验所得，计算的结果就是修正后的概率。

总之：贝叶斯原理与其他统计学推断方法截然不同，它是建立在主观判断的基础上：在我们不了解所有客观事实的情况下，同样可以先

估计一个经验概率，然后根据实际结果不断进行修正。

贝叶斯公式本质上就是条件概率公式，只不过是用乘法公式展开了条件概率公式中的分子，用全概率公式展开了条件概率公式中的分母。

之所以另取名字叫贝叶斯公式，是由于它体现了一种从先验概率计算后验概率的思想。