机器学习笔记——贝叶斯学习
概率
理解概率最简单的方式就是把它们想像成韦恩图中的元素。首先你有一个包含全部可能输出(比如一个实验的)的全集,如今你对当中的一些子集感兴趣,即一些事件。如果我们在研究癌症,所以我们观察人们看他们是否患有癌症。在研究中,如果我们把全部參与者当成我们的全集,然后对不论什么一个个体来说都有两种可能的结论,患有或没有癌症。我们能够把我们的全集分成两个事件:事件"患有癌症的人"(表示为A),和"不患有癌症的人"(表示为~A)。我们能够构建一张例如以下的图:
那么一个随机选择的人患有癌症的概率是多少呢?就是在A中的元素数量除以U(全集)。我们记A中元素的数量为|A|,并读作A的基数。定义A的概率,P(A),写作P(A) = |A|/|U|。
因为A能够至多拥有与U一样的元素,概率P(A)至多为1。
到如今还不错吧?好,让我们加入还有一个事件。如果还有一个筛选測试,目的是測量别的什么。那个測试对一些人将是"阳性",对一些人将是"阴性"。如果我们把事件B定义为"測试中是阳性的人"。我们能够作出还有一张图:
那么对于一个随机选中的人,这个測试为”阳性“的概率是多少呢?将是B中元素的数量(B的基数,或|B|)除以U的元素数量,我把这个称为P(B),事件B的概率有了。
P(B) = |B|/|U|。
记住到眼下为止,我们已经处理了两个独立的事件。我们把它们放在一起会发生什么。
我们能够用相同的方法计算两个事件都发生的概率(AB是A∩B的缩写)。
P(AB) = |AB|/|U|。
这就是開始有意思的地方了。从上图中能够读到什么?
我们在处理一个全集(全部人),事件A(患有癌症的人),和事件B(測试中为阳性的人)。
如今有了重叠,即事件AB,我们也能够读作"患有癌症而且測试中为阳性的人"。也有事件B-AB或"未患癌症而且測试结果为阳性的人",还有A-AB或"患有癌症而且測试结果为阴性的人"。 如今,我们要回答的问题是"如果对一个随机选中的人測试结果为阳性,这个人患有癌症的概率是多少?"。在我们的韦恩图中,能够翻译成"如果我们在B区域,我们在区域AB的概率是多少",或者用还有一种方式表述:"如果我们把区域B当成我们的全集,A的概率是多少?"。表达式即为P(A|B),读作"给定B下A的概率"。那它应该是什么?好它应该是 P(A|B) = |AB|/|B|。
如果我们把分子分母同一时候除以|U|
P(A|B) = (|AB|/|U|)/(|B|/|U|),我们能够把前面的等式重写为:P(A|B)=P(AB)/P(B).
我们有效地完毕了把全集从U(全部人)到B(測试为阳性的人)的改变,可是我们仍然须要处理U中定义的概率。
如今让我们来问一个相反的问题"如果一个随机算中的个体患有癌症(事件A),对此人測试为阳性(事件AB)的概率是多少?"。直观来看它就是:P(B|A)=P(AB)/P(A).
如今我们能够推导出贝叶斯公式,把上两个等式放在一起,我们得到:P(A|B)P(B)=P(B|A)P(A)。不管你从A或B的方向上看P(AB)都是一样的,最后推出P(A|B)=P(B|A)P(A)/P(B)。这就是贝叶斯公式。我发现韦恩图让我又一次认识了贝叶斯公式,不论什么时候都不用记住它了。它也对其的应用变简单。
演示样例
以下的样例来自Yudowsky:
年龄为40岁的參与定期筛查的妇女中有1%患有乳腺癌。患乳腺癌的妇女中的乳房X光片为阳性的有80%。未患乳腺癌的妇女中9.6%也有阳性乳房X光片。在一次定期检查中,在这个年龄群体中的一位妇女的乳房X光片为阳性,她实际上得乳腺癌的概率是多少?
首先,让我们考虑患有癌症的妇女
如今增加乳房X光片为阳性的妇女,记住我们要覆盖事件A中80%的区域和事件A以外9.6%的区域。
从图中非常明显。假设我们又一次限定我们的全集为B(乳房X光片为阳性的妇女),实际上仅仅有非常小的概率得癌症。通过这篇文章,多数医生推測问题的答案约为80%,从图中看非常明显不可能!记住測试的功效从A中得到,"80%患乳腺癌的妇女也有阳性乳房X光片"。这能够解释为"限定全集为A,B的概率是多少?"或者用别的方式P(B|A)。
即使没有韦恩图,可视化图标能够帮助我们应用贝叶斯公式:
组中有1%的妇女患有乳腺癌->P(A)=0.1
那些妇女中80%有阳性乳房X光片,而且未患乳腺癌的妇女中9.6%也有阳性乳房X光片->P(B)=0.8P(A)+0.096(1-P(A))=0.008 + 0.09504 = 0.10304
我们能够从问题的描写叙述中直接得到P(B|A),记住患有乳腺癌的妇女中80%有阳性乳房X光片->P(B|A)=0.8.
如今把这些值带入贝叶斯公式:
P(A|B)=0.8*0.01/0.10304.
答案是 0.0776 或约 7.8%的概率,即假设给定阳性乳房X光片则实质上患有乳腺癌的概率。
(上面的部分翻译了这个原文:http://oscarbonilla.com/2009/05/visualizing-bayes-theorem/)