先验分布:(二)选取先验概率分布
一、结合实际应用
之前讲到,当不知道原因的概率的时候,可以选取一种相对灵活的概率分布表示先验概率的分布。
而选取哪种分布往往取决于实际应用或问题是什么。
在继续介绍该如何选取分布类型之前,我们先以一个简单的例子描述一下我们需要解决的问题:
假设有两枚硬币C1和C2,C1硬币抛出正面的概率是0.6,C2硬币抛出正面的概率是0.3。现在,我们做一个实验:
每次取两枚硬币中的一枚,抛出这枚硬币,连抛10次,记录正面和反面出现的次数。此为1次试验。我们做5次。实验结果如下:
试验编号 | 所用硬币 | 试验结果 |
1 | ? | 5+:5- |
2 | ? | 6+:4- |
3 | ? | 3+:7- |
4 | ? | 4+:6- |
5 | ? | 6+:4- |
先不管所用硬币是哪枚,单单就试验结果而言,试验结果是服从二项分布的,即每一次抛硬币的结果非正即反。
然而,实际的情况是,试验中所用硬币对试验结果是有影响的,因为两枚硬币抛出正面的概率是不一样的。因此,试验结果可以看作是先选取硬币,再抛选到的硬币。也就是说,选硬币是原因,试验结果是这个原因所导致的结果。
现在,我们要根据这5次试验结果推断每次试验用的是哪枚硬币。
现在的情况是,我们不知道选到哪枚硬币的概率是多少,即选取硬币的概率未知。
为了推断每次试验用的是哪枚硬币,我们需要根据试验结果倒推,寻找能让这5次试验结果——这一组合出现概率最大的那个选硬币的概率。如此,我们就有充分的信心相信,要使这5次试验结果的组合的出现概率最大,每次试验之前应该选哪枚硬币。
既然是倒推,就需要设定一个初始的选硬币的概率(先验概率),然后再根据倒推的结果(后验概率)调整选硬币的概率,这个过程可表示为:
设选到硬币的事件为θ,每次试验硬币朝上的次数为X。
先假定选硬币的概率(如选到C1的概率为0.7,即p(θ=C1) = 0.7)
→ 计算在已经选到硬币的基础上,在一次试验中出现X = 5的概率p(X=5|θ=C1),此即为似然函数的值
→ 根据公式:后验概率 = 似然函数 × 先验概率,计算在X = 5的情况下,选到的硬币是C1的概率,
表示为p(θ=C1|X=5),即后验概率
→ 根据这个后验概率调整(或替代)之前的先验概率
事实上,在很多情况下,通过上述步骤得到的后验概率并不是最理想的结果,也就是说,如果用这个后验概率作为先验概率,再一次通过上述步骤计算出第二个后验概率,如果通过某些度量,发现第二个后验概率比第一个后验概率更好,则应该用第二个后验概率调整(或替代)第一个后验概率。这个过程一直要持续到新得到的后验概率不再变化(即收敛)。
那么,问题就来了:凭什么后验概率可以调整(或替代)先验概率?事实上,只要后验概率的范围仍然在(0, 1)之间,它就可以作为新的先验概率继续参与新的后验概率的计算。
不过,要注意的是,先验概率和后验概率不一定都在同一个(即分布的参数都相同)分布上。更多的情况是,后验概率在不同的分布上。理想的情况是,先验概率和后验概率有同样形式的分布,只是参数不同(即形状不同)。
很激动的是,就有这么一个分布,定义了(0, 1)之间的连续分布,有两个参数控制分布的形状,它就是Beta分布。
Beta分布根据其参数α和β的不同,有各种各样的形状(如下图所示),但符合该分布的变量取值总是在(0, 1)之间。
(概率密度函数)
(累积函数)
二、从一维到多维
上面说到的Beta分布定义的是1个事件的先验概率的分布,比如抛硬币正面向上的事件概率。
在实际应用中,我们有时候会不清楚多个事件中各个事件的概率,比如掷一枚不均匀6面骰子,分别出现数字1-6的概率。这时候,因为实验结果服从多项分布,就不能用Beta分布了,而需要改用定义多个均位于(0, 1)区间变量的概率分布。
数学上已经证明,可用狄利克雷分布(Dirichlet Distribution)——Beta分布在多维上的扩展来表示多个未知概率事件的概率分布。
posted on 2019-05-13 18:20 tspeaking 阅读(2653) 评论(0) 编辑 收藏 举报