我们比较熟悉均匀分布、二项分布等概率分布,那么 beta 分布是什么呢?

一句话,beta 分布表示 一种概率的 概率分布;

也就是说,当无法确定一件事的概率P时,我们可以把它所有概率P统计出来,然后每个P对应一个P',P'就是 beta 分布;

下面我从多个角度具体阐述一下

 

生活案例 

投篮命中率估计

熟悉篮球的朋友都知道,运动员投篮命中率大概在 21%-33% ,这叫先验知识

现在有一个人说自己投篮很准,那如何证明呢?

假如让他投一次篮,命中了,我们能说他命中率 100% 吗,显然不行;

那让他投1000次篮,看看进几个,然后算命中率,也是不行的,早累死了,投到后面已经不是他自己了;

那怎么办呢?此时就可以使用beta 分布;

 

1. 我们先把 先验知识 转换成 beta 分布的参数

beta 分布的均值为 𝛼/(𝛼+𝛽)=81/(81+219)=0.27    【在高斯分布里,均值就是概率最大的值,beta 分布不一定,这里是个特例】

故 beta 分布参数可取 𝛼=81,𝛽=219,显然 𝛼 代表投进次数,𝛽 代表投丢次数;      【𝛼 也代表二项分布中 正向事件 发生的次数】

此时 beta 分布如下图

可以看到 这个分布主要落在了 21-33之间,符合先验知识

beta 分布 x 轴代表 各个投篮命中率,y 轴代表 各个命中率 的 概率

 

2. 那上面这个人的投篮命中率怎么计算呢?

还是投一次,假如进了,(81+1)/(81+219+1)=0.2724,这个命中率显然要比 100% 更可信,

继续投吧,,投50次看看,假如进了30个,(81+30)/(81+30+219+20)=0.32,这个概率还算合理,比 60% 更可信

 

3. 此时我们就得到了这个人的投篮命中率为 0.32;

不是说概率的概率吗,怎么只有概率,那是因为我们只拿 均值算了对应的概率,没算 其他值对应的概率,如果把所有值得概率都算一遍,相当于把曲线平移一下

 是不是所有概率都有 概率了,从图中蓝色曲线可以看出概率最大的投篮命中率为 0.32

 

数学角度

公式

B 为 beta 函数;

随着 a b 的变化,beta 分布形态各异

这种特性能够满足各种先验分布

 

贝叶斯推断

先验分布 + 实验数据 = 后验分布

(经验)       (投篮试验) (投篮命中率) 

beta 分布符合贝叶斯推断

 

共轭先验

beta(a, b) + 实验数据 = beta(m, n) = beta(a + 投中次数, b + 投丢次数)

对于二项分布,用 beta 分布做先验,经过贝叶斯推断后,后验分布依然是 beta 分布,这种特性称为 共轭先验

 

推理过程

假设抛硬币正面朝上概率为 θ,抛 A+B 次,A 次正面朝上的概率为

这个 P 就是所谓的 在参数 θ 下实验结果的可能性,    【在机器学习中,我们需要使这个概率最大,为1,这里我们不这么做】

我们要计算这个可能性,设

我们把 f(θ) 做一个归一化,让他的和变成 1,即变成一个概率,

做法很简单,除以他的积分即可;

 这个公式是不是和 beta 分布的公式很像呢;

对比一下就知道,beta 分布公式中,a 就是 正面朝上的次数,b 就是反面朝上的次数,x 就是 伯努利分布的概率 θ

 

 

 

 

参考资料:

https://www.zhihu.com/question/30269898  如何通俗理解 beta 分布?