先验分布：（一）认识先验概率

一、先验概率的定义

假设有随机变量θ，其取值仅为0或1；另有事件X，其取值仅为a或b。

我们又令当θ = 0时，X = a；当θ = 1时，X = b。也就是说，θ的取值决定了X的取值。

现在，我们做一个游戏，游戏要求我们在不知道θ是多少（0或1）的情况下，估计X的值。

 

怎么办？由于θ的取值决定了X的取值，只要我们知道θ的取值，问题迎刃而解。

θ可以取0，也可以取1。直观感觉告诉我们，θ有50%的机会等于0，另外50%的机会等于1。

换句话说，在估计X的值之前（不知道X会是多少），我们假设了θ有50%的机会等于0，另外50%的机会等于1。

而这两个50%的概率，就是先验概率。

 

二、先验概率分布

我们已经知道，先验概率就是在知道结果之前，对原因的概率的估计。要注意的是，这里并不是对原因的估计，而是对原因的概率的估计。

就像上面的例子，在不知道X会是多少的情况下，我们估计θ等于0的概率是50%，θ等于1的概率是50%。

在这个例子中，θ（的取值）服从（0 - 1）分布，也就是：θ要么是0，要么是1，只有两个值，统计学上记为Θ ~ （0 - 1）。

当然，无论出于何种原因，有人会觉得θ有60%的机会等于0，另外40%的机会等于1。

这样可以吗？可以，而且完全合理，因为我们没有任何经验证明θ有多少机会取0，有多少机会取1。

 

接下来，我们改一下文章一开头的假设：

假设有随机变量θ，其取值为0、1或2；另有事件X，其取值为a、b、c。

我们又令当θ = 0时，X = a；当θ = 1时，X = b；当θ = 2时，X = c。X的取值还是又θ决定。

现在要做的游戏也类似，即在不知道θ是多少（0或1或2）的情况下，估计X的值。

 

这次我们假设，θ有60%的机会等于0，30%的机会等于1，10%的机会等于3。换言之，这就是在这种假设下的我们主观确定的先验概率分布。要注意的是，我们这里假设X等于某个值的原因只有一个，也就是θ的其中一种取值。

 

事实上，我们在现实世界中观察到的任何结果都有其背后的原因，就像上面假设中的θ。通常，当我们猜测结果是什么的时候，我们或多或少都假定了一系列原因，而其中的一个或多个原因最终导致了结果。为了方便理解，我们这里先假定，一个事件只由一个原因引起，即原因之间是互斥的。

 

当原因有很多个，甚至无穷多个的时候，我们应该怎样表示原因的概率（即先验概率）的分布？

当原因有很多个，甚至无穷多个的时候，如果我们人工一个一个主观指定原因的出现概率，将会耗费大量时间，如果原因有无穷多个，则工作根本不可能完成。

先验概率说到底还是概率，我们总能找到一种分布来表示，况且，先验概率是可以由我们主观认定的，也就是说，先验概率有很大的灵活性。因此，我们可以用一种比较灵活的概率分布来表示先验概率的分布。

 

而用哪种分布往往取决于我们需要解决什么问题。具体讨论见下文：