先验概率、后验概率、似然估计、联合分布

隔壁老王要去8公里外的一个地方办事，他可以选择走路，骑自行车或者开车，并花费了一定时间到达目的地。在这个事件中，可以把交通方式（走路、骑车或开车）认为是原因，花费的时间认为是结果。

先验概率--先于结果，确定原因的概率分布

老王早上起床的时候觉得精神不错，想锻炼下身体，决定跑步过去；也可能老王想做个文艺青年试试最近流行的共享单车，决定骑车过去；也可能老王想炫个富，决定开车过去。老王的选择与到达目的地的时间无关。先于结果，确定原因的概率分布，Pr[交通方式]，就是先验概率。

X:代表选择的交通方式

Pr[X=跑步]=1/3； Pr[X=骑车]=1/3； Pr[X=开车]=1/3

Y：代表花费的时间 

似然估计--先确定原因，根据原因来估计结果的概率分布

①老王决定跑步过去，那么很大可能8公里的距离大约需要1个小时；较小可能是老王平时坚持锻炼，跑步过去用了40分钟；更小可能是老王是个猛人，20分钟就到了。

②老王决定骑车过去，很大可能是老王那天精神不错加上单双号限行交通很通畅，40分钟就到了；还有一种较小可能是老王很猛花了一个20分钟就到了；更小可能老王换了好几辆共享单车，一个小时才到。

③老王决定开车过去，很大可能是20分钟就到了，较小可能是那天堵车很严重，磨磨唧唧花了40分钟才到。

这种先确定原因，根据原因来估计结果的概率分布，Pr[时间|交通方式]，就是似然估计。

Pr[Y=60|X=跑步]=1/2； Pr[Y=40|X=跑步]=1/3； Pr[Y=20|X=跑步]=1/6；

Pr[Y=60|X=骑车]=1/6； Pr[Y=40|X=骑车]=1/2； Pr[Y=20|X=骑车]=1/3；

Pr[Y=60|X=开车]=0；   Pr[Y=40|X=开车]=1/3； Pr[Y=20|X=开车]=2/3；

联合分布--对于X和Y的联合概率分布

 

从而可以求出：

Pr[X=跑步，Y=60]=1/6；   Pr[X=跑步，Y=40]=1/9；  Pr[X=跑步，Y=20]=1/18；

Pr[X=骑车，Y=60]=1/18； Pr[X=骑车，Y=40]=1/6； Pr[X=骑车，Y=20]=1/9；

Pr[X=开车，Y=60]=0；    Pr[X=开车，Y=40]=1/9； Pr[X=开车，Y=20]=2/9；

从而可以得出：

Pr[Y=60]=4/18；         Pr[Y=40]=7/18；        Pr[Y=20]=7/18

 

 后验概率 -- 先知道结果，然后由结果估计原因的概率分布

①若老王花了一个小时的时间完成了8公里的距离，那么很大可能是跑步过去的，当然也有较小可能老王换了好几辆共享单车骑车过去的。

②若老王一共用了40分钟的时间完成了8公里的距离，那么很有可能他是骑车过去的。

③若老王只用了二十分钟，那么很有可能是开车。

这种先知道结果，然后由结果估计原因的概率分布，Pr[交通方式|时间]，就是后验概率。

Pr[X=跑步|Y=60]=3/4； Pr[X=跑步|Y=40]=2/7； Pr[X=跑步|Y=20]=1/7；

Pr[X=骑车|Y=60]=1/4； Pr[X=骑车|Y=40]=3/7； Pr[X =骑车|Y=20]=2/7；

Pr[X=开车|Y=60]=0；   Pr[X=开车|Y=40]=2/7； Pr[X=开车|Y=20]=4/7；

著名的贝叶斯定理（Baye’s Theorem）：

 

 

参考文献：

作者：Agenter
链接：https://www.zhihu.com/question/24261751/answer/158547500
来源：知乎