贝叶斯估计
其实这是我之前最想第一篇来写的随笔了,今天就先把这一部分写一写吧。
1.问题
一个医疗诊断问题有两个可选的假设:病人有癌症、病人无癌症可用数据来自化验结果:阴性和阳性。有先验知识:在所有人口中,患病率是0.008,对确实有病的患者的化验准确率为98%,对确实无病的患者的化验准确率为97% 。
问题:假定有一个新病人,化验结果为阳性,是否应将病人断定为有癌症?
我们先把问题简单描述一下,用事件Y表示检测为阳性,用事件N表示检测为阴性,用A表示患有癌症,用B表示健康。那么有:
$$p(A) = 0.008$$ $$p(B) = 0.992$$ $$p(Y|A) = 0.98$$ $$p(N|B) = 0.97$$ $$p(N|A) = 0.02$$ $$p(Y|B) = 0.03$$
然后让我们求\(p(A|Y)\)
让我们求已知检测为阳性的情况下,病人患有癌症的条件概率,根据条件概率的定义有$$p(A|Y) = \frac{p(A,Y)}{p(Y)}$$
而:$$p(A,Y) = p(Y|A)p(A)$$
那么\(p(Y)\)怎么求呢?
我们发现A和B是互斥事件,且\(p(A) + p(B) = 1\),根据联合概率和边缘概率的关系,有:$$p(Y,A) + p(Y,B) = p(Y)$$
再次利用联合概率和条件概率:$$p(Y,A) = p(Y|A)p(A)$$ $$p(Y,B) = p(Y|B)p(B)$$
最终得到:$$p(A|Y) = \frac{P(Y|A)p(A)}{p(Y|A)p(A) + p(Y|B)p(B)}$$
带入得\(p(A|Y) = 0.208\),这好像和直觉相差甚远,明明对有病患者准确率高达98%,为什么检测结果为阳性但是可信度只有21%左右?
我们来看看这种检测方法诊断结果为阳性的概率\(p(Y) = 0.0376\),发现了什么,该癌症发病率只有0.008,有0.0376的概率的概率是结果为阳性。假设随机10000个人来检查,其中癌症患者的期望为80,但是检测结果为阳性的期望为376。这表明检测结果为阳性时,假阳性概率很大,在0.008的发病率看来,对正常病人3%的误差反而大得多,这也是阳性结果可信度低的最主要原因。
我们直接看上面的公式,发现待求的条件概率等于对应的联合概率占所有对应联合概率总和(这个总和就是边缘概率)的比值,例题中正常病人却检测出阳性结果占总阳性结果的比例过大(准确率太低),导致最终可信度小,这与上面的描述是等价的。
2.贝叶斯估计公式
$$p(A|B) = \frac{p(B|A)p(A)}{p(B)}$$
贝叶斯估计公式本质是条件概率和边缘概率的联系,它提供了根据当前观测结果以及先验知识来估计新的分布的方法。在上式中,\(p(A)\)和\(p(B)\)就是先验知识,或者叫先验概率,\(p(B|A)\)是当前的观测结果,通常称之为后验概率。
3.新的问题
贝叶斯估计提供了估计方法,但是需要我们如何通过观测获得具体的分布呢?那就是分布估计方法啦。