贝叶斯公式的推导及理解

https://www.bilibili.com/video/BV1Ei4y1F72M，https://www.bilibili.com/video/BV1R7411a76r和https://www.bilibili.com/video/BV1o7411a76m 三个3Blue1Brown的视频给予了很大的参考，这篇博客可以看做这几个视频的观后笔记总结

贝叶斯公式推导

假定已知“图书管理员和农民的比例是1:20”，Steve的职业是其中之一，他最有可能是什么？

此时我们的回答肯定是“农民“，因为众所周知 农民的概率更高。

现在给出额外的信息“Steve是一个温顺且办事井井有条的人”， 问题依旧，Steve的职业是图书管理员和农民，他最有可能是什么？

我们此时会抉择，因为我们知道图书管理员往往是一个温顺且办事井井有条的人，这似乎 提高 了Steve是图书管理员的概率，也就意味着在我们心中，在“Steve是一个温顺且办事井井有条的 条件 下，Steve是图书管理员的可能性“不再是$\frac{1}{20+1}$，而是比他大的某一个值，因为条件 佐证 更偏向于图书管理员这个职业。

这里对我们之前已知的所有信息进行一些形式化定义。

众所周知的“图书管理员和农民的比例是1:20”，这是一个先验概率，对应于Steve为图书管理员的可能性，记为$P(H)=\frac{1}{20+1}$，其中Steve为图书管理员是我们的假设$H$

额外的信息“Steve是一个温顺且办事井井有条的人”，是我们得到的证据$E$，证据也对应了一些先验概率$P(E)$，指的是这条证据成立的概率。但我们此时需要思考的是这个证据与假设的关系，也就是假设如果成立的话，这个证据也同时成立的概率，我们把他叫做似然。换句话说，在这里指“图书管理员是一个温顺且办事井井有条的人”的可能性，记为$P(E|H)$，假设这个值是$0.4$。

我们现在需要知道“Steve是一个温顺且办事井井有条的人的条件下，Steve是图书管理员的概率”，也就对应着$P(H|E)$，它也叫后验概率，是我们依据证据信息$E$对先验概率$P(H)$的修正结果，下面是一些等式的推导：

$$\begin{aligned} P(H|E)&=\frac{\text{H,E同时成立的人数}}{E成立的人数}=\frac{P(H,E)}{P(E)}\\ &=\frac{\text{H成立的人数}\times \text{H成立时，E也成立的概率}}{E成立的人数}=\frac{P(H)\times P(E|H)}{P(E)} \end{aligned}$$

这里出现了$P(H,E)$代表证据和假设同时成立的概率，它与$P(H|E)$不同。前者是在整个概率空间（即全概率1）中求取$H,E$同时成立的概率。后者是在假设$H$成立这个概率空间中求取$H，E$同时成立的概率（因为是在假设$H$成立的概率空间，$H$肯定成立了，因此也可以看做是求此时$E$成立的概率）。

值得注意的是为什么我们直觉性认为这个证据有助于让我们判定Steve是一个图书管理员，那是因为“农民（即不是图书管理员）是一个温顺且办事井井有条的人”记为$P(E|\neg H)$的可能性更小，假设这个值是$0.1$，它小于$0.4$。

$$P(E)=\underbrace{P(E|H)\times P(H)}_{温顺且办事井井有条的图书管理员}+\underbrace{P(E|\neg H)\times P(\neg H)}_{\text 温顺且办事井井有条的农民}\\ $$

$P(H)$和$P(\neg H)$是固定的，因此更大的$P(E|H)>P(E|\neg H)$意味着在$P(E)$中图书管理员的占比更大，这个占比对应的值也就是我们刚才计算得出的后验概率$P(H|E)$，因此这里直觉是正确的。

快速计算技巧

假定给出一个疾病的发病率为1%，病人被某种诊断手段判为阳性的概率为90%，非病人被判为阴性的概率为91%，假设现在你被测为阳性，你有多大概率患有该疾病。

这里同样可以进行一系列形式化定义，假设用$T$表示患病，$F$表示不患病，$N$表示阴性，$P$表示阳性。那么$P(T)=0.01,P(P|T)=0.9,P(N|F)=0.91,P(T|P)=?$

直接看到这一串数字，我们往往可能会直觉性的认为这个答案是90%。这种直觉来自于“病人被判为阳性的概率为90%”，语句顺序变化，即“阳性为病人的概率为90%”，答案也正确。通过之前的介绍，可以知道这里因果发生了导致，答案是可能发生变化的，从似然变成了后验概率。

与上述一样这里需要求给出证据$P$的后验概率$P(T|P)$。当然可以直接套公式计算，这里有小技巧，原本我们计算的是概率，可以通过计算比率，如下公式所示。

$$\begin{aligned} \frac{P(T|P)}{P(F|P)}&=\frac{\frac{P(T,P)}{P(P)}}{\frac{P(F,P)}{P(P)}}=\frac{P(T,P)}{P(F,P)}\\ &=\frac{P(T)}{P(F)}\times \frac{P(P|T)}{P(P|F)} \end{aligned}$$

这里$\frac{P(T)}{P(F)}$很容易通过先验概率获得，而$\frac{P(P|T)}{P(P|F)}=\frac{P(P|T)}{1-P(N|F)}$也在已知条件中给出，它也叫做贝叶斯因子。贝叶斯因子反映了证据$P$是否有助于假设$T$的成立，如果值大于$1$就有助于，相反小于$1$则无异于。可以看出来如果证据与假设独立，即$P(P|T)=P(P|F)=P(P)$，则贝叶斯因子为$1$，并不能修改对假设的概率判定。