Beta分布深入理解
一些公式
Gamma函数
（1）
贝叶斯公式
（2）
贝叶斯公式计算二项分布概率
现在有一枚未知硬币，我们想要计算抛出后出现正面的概率。我们使用贝叶斯公式计算硬币出现正面的概率。硬币出现正反率的概率和硬币两面的质量有较大关系，由于硬币未知，我们不知道是否会有人做手脚，于是在实验之前我们认为硬币出现正面的概率
服从均匀分布
，即
（3）
抛硬币是一个二项试验
，所以n次实验中出现x次正面的似然概率为
（4）
把（3）（4）式带入（2）式中，得到
考虑到Gamma函数，进一步推算有
（5）
这个分布就是大名鼎鼎的Beta分布。我们记Beta函数为
记Beta分布为
实际上，抛硬币的例子中，x为正整数，所以抛n次硬币，出现x次正面的后验概率分布为
（6）
可以看到，当a、b为整数时，Beta(a, b)与二项分布Bin(n, p)的表达式有点神似。正是因为这点神似，才让Beta分布与二项分布成为共轭分布。共轭分布我们在后续会详细讲。
Beta分布特性
我们先看看Beta分布有什么特性。
1、 Beta(1, 1)等于均匀分布
。
2、 作为概率的概率分布，Beta(a, b)在(0, 1)上对θ积分必定为1。
3、 Beta(a, b)同时能作为先验分布和后验分布，必定能够模拟各种概率分布情况。
如上图，Beta分布可以模拟出以(0, 1)上任意点为峰值的曲线，这表明Beta分布可以模拟极大似然法求出的任意最大值点概率值。
Beta分布的统计例子
问题：随机变量
，把这n个随机变量排序后得到顺序统计量
，然后请问
的分布是什么。
为解决这个问题，可以尝试计算
落在区间[x, x+Δx]的概率。即求下述式子的值：
首先，把 [0,1] 区间分成三段 [0, x)，[x, x+Δx]，(x+Δx, 1]，然后考虑下简单的情形：即假设n 个数中只有1个落在了区间 [x, x+Δx]内，由于这个区间内的数X(k)是第k大的，所以[0, x)中应该有 k - 1 个数，(x+Δx, 1] 这个区间中应该有n - k 个数。如下图所示：
从而问题转换为下述事件E：
对于上述事件E，有：
其中，o(Δx)表示Δx的高阶无穷小。显然，由于不同的排列组合，即n个数中有一个落在 [x, x+Δx]区间的有n种取法，余下n - 1个数中有k - 1个落在[0, x)的有
种组合，所以和事件E等价的事件一共有
个。
如果有2个数落在区间[x, x+Δx]呢？如下图所示：
类似于事件E，对于2个数落在区间[x, x+Δx]的事件E'：
有：
从上述的事件E、事件E'中，可以看出，只要落在[x, x+Δx]内的数字超过一个，则对应的事件的概率就是 o(Δx)。于是乎有：
从而得到的概率密度函数为：
对比公式（6），可以看到上式正是a、b为整数状态下的Beta分布。
对于
，我们很容易计算
共轭分布
在贝叶斯概率理论中，如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。
文章开头的演算中，我们已经知道使用Beta(1, 1)作为先验分布，结合贝叶斯公式和二项分布似然函数，计算出的后验分布也为Beta分布。
实际上，结合公式（2）（4）（5），我们很容易得到
Beta(a, b) + 实验数据(事件A m次，非事件A n次) ~ Beta(a + m, b + n)
参考：
https://blog.csdn.net/ccnt_2012/article/details/81113923
http://www.360doc.com/content/16/0428/10/478627_554452907.shtml#
