贝叶斯居然用事件概率,就轻松预知了未来?
https://blog.csdn.net/BULpreZHt1ImlN4N/article/details/81463791
1969年,J. 理查德·戈特三世在普林斯顿攻读天体物理博士学位之前,他去欧洲旅行了一趟。他看见了柏林墙,那是8年前建成的。
站在墙的影子下,这仿佛是冷战的一个鲜明象征,他开始思索这墙会将东德和西德地区继续分割多久。
从表面上看,试图做出这种预测有些荒谬。即使撇开地缘政治的不可预测性不说,这个问题仅在数学上似乎就很可笑:因为它试图从一个单一数据点进行预测。
柏林墙
但是,尽管这看起来很可笑,但我们总是会根据需要做出这样的预测。你到了一个外国城市的公共车站,也许其他游客已经站在那里等了7分钟。
下一班车什么时候到?继续等待是否值得?如果是这样的话,在放弃之前你应该再那等多久?
或者你的一个朋友已经和某人约会了一个月,希望得到你的建议:邀请他们一起参加即将到来的人的婚礼是否太早?这种关系已经有了一个良好的开端,但是什么时候开始制订计划比较合适呢?
谷歌的研究部主任彼得·诺维德(Peter novid)曾进行过一次题为“数据的不合理有效性”的著名演讲,该演讲深究了“数十亿琐碎的数据点最终如何能被理解”。
媒体不断告诉我们,我们生活在一个“大数据时代”,计算机可以筛选这数十亿的数据点,并发现一些肉眼看不到的细节。
但跟日常生活联系最密切的问题往往是另一种极端。我们的生活充满“小数据”,我们就像看到柏林墙的戈特一样,也就是通过一个单一的观察,做一个推论。
那么我们一般怎么做呢?我们又应该怎样做?
故事发生在18 世纪的英国,那时,有一个研究领域对伟大的数学思想家来说是不可抗拒的(对那些神职人员也是如此),那就是赌博。
贝叶斯牧师的倒推理
250 年前,贝叶斯牧师就很重视小数据预测问题,他来自英国迷人的温泉城镇坦布里奇韦尔斯,是一位长老会的牧师。
贝叶斯设想,如果我们买10 张新的、不熟悉的抽奖彩票,其中有5 张中奖,那么要估计中奖概率就似乎相对容易:5/10,或50%。
但是,如果我们只买了一张彩票,并赢得奖品呢?
我们真的认为中奖的概率就是1/1,或是100%的?这似乎过于乐观,不是吗?
如果是这样的话,那中奖概率应该是多少?我们应该猜多少呢?
对于那些曾在不确定性推理历史上产生如此重大影响的人来说,贝叶斯自己的故事也具有讽刺的不确定性。
贝叶斯
他出生于1701年或者1702年,出生地是英国的赫特福德郡,或是伦敦。
在1746年,或1748年,或1747年,抑或是1749年,他写了一篇在数学界最具影响力的论文,他却未将它发表,并继续做其他事情。
在这两个事件之间我们有了更多的把握。作为牧师的儿子,贝叶斯去爱丁堡大学学习神学,并像他父亲一样被任命为牧师。
他对数学和神学感兴趣,并在1736年为牛顿全新的 “微积分”理论写了一篇慷慨激昂的辩护书,以回应乔治伯克利主教对牛顿的攻击。
微积分基本定理
这使他在1742年当选为皇家学会的成员,并被赞誉为“擅长几何、数学和哲学学习的绅士”。
1761年贝叶斯去世后,他的朋友理查德·普莱斯被要求整理他的数学论文,看是否有可发布的内容。
一篇文章引起了他的兴趣,并令他特别兴奋——他说这篇文章“极为出色,值得保存”。
这篇论文就论述了本文所讨论的彩票问题:让我们想象一个人在抽奖的时候,对会不会中奖完全不知道,也不知道中奖和无奖的比例如何。
让我们进一步假设,他要从他之前了解到的无奖的数量来推测相对的中奖数量,并询问他在这些情况下能做出什么合理的结论。
贝叶斯的关键见解是,试图使用我们看到的中奖和未中奖彩票来分析彩票来源于整体彩票池的方法,本质上是在倒推。
他说,要做到这一点,我们需要先用假设向前推理。
换句话说,我们首先需要确定,如果各种可能场景都成真的情况下,我们中奖的可能性有多少。
这个被现代统计学家称为“可能性”的概率,给了我们解决问题所需要的信息。
例如,假设我们买了三张彩票,三张都中奖了。现在,如果这种彩票中奖率特别高,所有彩票都能中奖,那我们的买三中三的中奖率就肯定会一直发生,在这种情况下就是100% 的概率。
但如果只有一半的彩票能中奖,那我们三张彩票的中奖率就是1/2×1/2×1/2, 也就是1/8。
如果1000 张彩票只有一张能中奖,那么我们的中奖率将是1/1000×1/1000×1/1000,也就是1×10–9。
贝叶斯认为,因此我们应该判断如何能让所有彩票都尽可能中奖而不是一半能中奖,或者尽可能使一半的彩票中奖而不是1/1000。
也许我们生来便拥有这种直觉,但贝叶斯的逻辑思维却给我们提供了为这种直觉定量的方法。
在同等条件下,我们应该想象成所有彩票都中奖的概率比一半中奖的概率要高8 倍,因为我们在这种情况下买的彩票正好是8 倍多的中奖概率(100% 与1/8)。
同样的,一半的彩票中奖的概率正好是1000 张中一张中奖的1.25 亿倍,我们已经通过比较1/8 和1×10–9 而得知其中的原因。
这是贝叶斯论证的关键所在:从假设的过去向前推理,并奠定了理论基础,让我们可以向后找到最大的可能性。
这是一个巧妙和创新的方法,但它对抽奖问题没能提供一个完整的答案。
普莱斯在向皇家学会提交贝叶斯的研究结果时,他能够确定,如果你买了一张彩票并中奖了,那么至少有一半的彩票都能中奖的概率是75%。
但是,考虑概率的概率问题会让人有点儿头晕。更重要的是,如果有人在催促我们:“好吧,但是你认为彩票的中奖率到底是多少?”我们仍然不知道该说什么。
如何将所有可能的假设提取到单一的期望值,这一问题将在短短几年后,由法国数学家皮埃尔·西蒙·拉普拉斯(Pierre Simon laplace)解答。
拉普拉斯定理
1749年,拉普拉斯生于诺曼底,他父亲送他到一所天主教学校,并希望他成为神职人员。
拉普拉斯
拉普拉斯继续在卡昂大学学习神学,他不像贝叶斯那样一生都能平衡对神学和科学的奉献,因此他最终放弃了做牧师,而专攻数学。
1774年,在完全不知道贝叶斯以前做的工作的情况下,拉普拉斯发表了一篇雄心勃勃的论文,名为“事件原因的概率论”。
在这篇论文中,拉普拉斯终于解决了如何从观察到的效果向后推理并找出可能的原因这一问题。
如我们所见,贝叶斯找到了一种比较两种假设的相对可能性的方法。但是在彩票这一问题上,这里的假设几乎就是无穷的——每一个中奖彩票可能的比例。
利用微积分这一曾备受争议却受到贝叶斯坚决拥护的数学学科,拉普拉斯能够证明这个巨大范围的可能性,这可以提取成一个单一的预估值和一个非常简洁的数字。
他表示,如果我们提前真的不知道彩票的情况,然后当我们第一次买的三张彩票中的一张彩票中奖了,我们可以推测奖池里彩票的总中奖比例为2 / 3。
如果我们买三张彩票,都中奖了,那我们可以推测总中奖比例正好是4/5。
事实上,如果买n 张彩票共w 张中奖,那么中奖率就是中奖数加1,除以所购买的数目加2,即(w+1)/(n+2)。
这种令人难以置信的简单方法,估计概率的简单方法被称为拉普拉斯定律,它很容易就能适用于任何你需要通过历史事件来评估概率的情况。
如果你做了10 次尝试,其中有5 次成功,拉普拉斯定律估计你的整体成功概率是6/12 或50%,这符合我们的直觉。
如果你只试一次便取得成功,拉普拉斯给的估计是2/3,这比假设你每次都赢更合理,也比普莱斯的观点更具可操作性。(它告诉我们,50% 或更大的成功概率有75% 的元概率。)
拉普拉斯继续将他的统计方法应用到广泛的时间问题上,包括评估男孩和女孩的出生率是否真正平均。(他发现,男婴其实比女婴的出生率稍高。)
他还写了关于概率的哲学论文,可以说这是给大众读者的第一本关于概率的书,也是最好的概率书之一,此书奠定了他的理论基础并讲述了这些理论在法律、科学与日常生活上的应用。
拉普拉斯定律为我们在现实世界中,面对小数据时提供了第一种简单的经验法则。
即使我们只进行了一些或一次观察,它也都能给予我们实际指导。想知道你的车晚点的概率吗?你的垒球队会赢吗?数一数过去已经发生的数量再加一,然后除以可能的机会数再加2。
拉普拉斯定律的精髓就在于无论我们有一个单独的数据点,或数以百万计的数据,它都同样适用。
相信太阳明天会升起是有道理的,这句话告诉我们:地球已经连续看到太阳上升约1.6 万亿天,在下一次的“尝试”中看见太阳不升起来的机会,几乎没有可能。