概率学派和贝叶斯学派的区别

概率学派和贝叶斯学派的区别

前言

对于一个数学模型来说，最主要的莫过于根据观察到的数据进行模型的参数估计了，而概率学派和贝叶斯学派对于这个参数估计有着不同的做法，接下来我们讨论下。

如有谬误，请联系指正。转载请注明出处。

联系方式：
e-mail: FesianXu@163.com
QQ: 973926198
github: https://github.com/FesianXu
code:

---

概率派和贝叶斯派的区别

对于一个问题，从概率派和贝叶斯派看起来是完全不一样的，其最主要的区别就是对于一个问题中模型参数的“信仰”：

• 对于频率派学者来说，一个模型中的参数是“固定”的，而数据是在分布中随机采样的。我们要重点理解这个固定，这里指的固定意思是

对于一个模型或者也可说一个分布中的参数，我们相信它是固定不变的，而我们观察（采样）到的数据是这个分布中的一个独立同分布样本。也就是说，我们相信这个分布的参数不管你怎么采样，根据参数对其的估计都应该是不会变的，They remain constant!如果根据数据估计出来的参数和真实模型不符合，只可能是引入了噪声而已。在这个观点中，模型参数才是上帝，数据为之服务。

• 对于贝叶斯派学者来说，我们观察到的数据才是“固定”的，而我们的模型的参数才是在一直变化的。我们不停地观察数据，估计出来的模型参数就可能一直的变化。不仅如此，我们对于这个模型的参数可能会有一个最初始的信仰，称之为先验假设，一旦设置后了之后，我们就可以听由观察到的数据指导模型参数更新了。在这种观点中，我们的模型参数不再是一个参数，而是一个分布了。一般来说，对于贝叶斯派，有公式：
  
  P{θ|D}=P{D|θ}P{θ}P{D}(1.0)$$\begin{array}{}\text{(1.0)}& P\{\theta |D\}={\displaystyle \frac{P\{D|\theta \}P\{\theta \}}{P\{D\}}}\end{array}$$
  
  其中P{θ|D}$P\{\theta |D\}$称为后验概率，指的是由观察数据和先验假设推测出来的参数分布，而P{θ}$P\{\theta \}$称之为先验分布，指的是对于参数的专家知识或者假设而引入的知识，可以指导参数θ$\theta$的学习，而P{D|θ}$P\{D|\theta \}$称之为似然函数，指的就是由于观察数据导致的参数更新。

---

我们举个投硬币的例子也说明下这两者区别：

Question：现在我们有一个硬币，假设朝向正面的几率为p$p$，朝向反面的几率为1−p$1-p$，这个p$p$是未知的，现在为了估计p$p$，投掷了14次，其中有10次朝向正面，问再投掷两次，都朝向正向的概率为多少。

在传统的概率派解答中，因为相信这个模型的参数是固定的，所以很容易知道p=1014=0.714$p={\displaystyle \frac{10}{14}}=0.714$，因此在后面投掷两次的过程中，假设都是独立过程，那么

P{HH|data}=p2=0.51(1.1)$$\begin{array}{}\text{(1.1)}& P\{HH|data\}=p^2=0.51\end{array}$$

---

而在贝叶斯派眼中，问题就没有那么简单了，我们相信参数p$p$不是简单的一个参数，而应该是一个随机变量，服从一个分布，那么我们就需要用观察到了的数据data$data$去估计这个参数p$p$的分布，利用贝叶斯公式有：

P{p|data}=P{data|p}P{p}P{data}(1.2)$$\begin{array}{}\text{(1.2)}& P\{p|data\}={\displaystyle \frac{P\{data|p\}P\{p\}}{P\{data\}}}\end{array}$$

因为在已知观察中，data$data$是固定的，所以P{data}=constant$P\{data\}=constant$是一个常数，不妨忽略它，有：

P{p|data}∝P{data|p}P{p}(1.3)$$\begin{array}{}\text{(1.3)}& P\{p|data\}\propto P\{data|p\}P\{p\}\end{array}$$

有:

P{data|p}=C1014p10(1−p)4(1.4)$$\begin{array}{}\text{(1.4)}& P\{data|p\}=C_{14}^{10}{p}^{10}(1-p{)}^4\end{array}$$

参数C1014$C_{14}^{10}$可以忽略，现在对于先验假设P{p}$P\{p\}$进行假设，一般来说，我们希望这个假设是一个共轭先验（conjugate prior）1。
这里用Beta分布作为硬币参数的先验假设，

Beta(p;a,b)=Γ(a+b)Γ(a)⋅Γ(b)⋅pa−1(1−p)b−1(1.5)$$\begin{array}{}\text{(1.5)}& Beta(p;a,b)={\displaystyle \frac{\mathrm{\Gamma }(a+b)}{\mathrm{\Gamma }(a)\cdot \mathrm{\Gamma }(b)}}\cdot p^{a-1}(1-p{)}^{b-1}\end{array}$$

其中伽马函数Γ(⋅)$\mathrm{\Gamma }(\cdot )$定义为:

Γ(x)=∫+∞0tx−1e−tdt(1.6)$$\begin{array}{}\text{(1.6)}& \mathrm{\Gamma }(x)={\int }_0^{+\mathrm{\infty }}{t}^{x-1}{e}^{-t}\mathrm{d}\mathrm{t}\end{array}$$

Beta分布有两个控制参数a和b，不同的a和b其CDF的形状差别很大：

---

在这个先验假设下，我们有：

P{p}=Beta(p;a,b)(1.7)$$\begin{array}{}\text{(1.7)}& P\{p\}=Beta(p;a,b)\end{array}$$

同样的，因为Γ(a+b)Γ(a)${\displaystyle \frac{\mathrm{\Gamma }(a+b)}{\mathrm{\Gamma }(a)}}$是常数项，忽略所以有：

P{p|data}∝p10(1−p)4⋅pa−1(1−p)b−1∝p10+a−1(1−p)4+b−1(17)(18)(1.8)$$\begin{array}{}\text{(1.8)}& \begin{array}{}\text{(17)}& P\{p|data\}& \propto p^{10}(1-p{)}^4\cdot p^{a-1}(1-p{)}^{b-1}\text{(18)}& & \propto p^{10+a-1}(1-p{)}^{4+b-1}\end{array}\end{array}$$

为了让

∫+∞0p{p|data}dp=1(1.9)$$\begin{array}{}\text{(1.9)}& {\int }_0^{+\mathrm{\infty }}p\{p|data\}\mathrm{d}\mathrm{p}=1\end{array}$$

需要拼凑系数，可知道系数为（这里不是特别懂）

Γ((10+a)+(4+b))Γ(10+a)⋅Γ(4+b)=1B(10+a,4+b)(1.10)$$\begin{array}{}\text{(1.10)}& {\displaystyle \frac{\mathrm{\Gamma }((10+a)+(4+b))}{\mathrm{\Gamma }(10+a)\cdot \mathrm{\Gamma }(4+b)}}={\displaystyle \frac{1}{B(10+a,4+b)}}\end{array}$$

其中B(x,y)$B(x,y)$为Beta函数，B(x,y)=Γ(x)Γ(y)Γ(x+y)$B(x,y)={\displaystyle \frac{\mathrm{\Gamma }(x)\mathrm{\Gamma }(y)}{\mathrm{\Gamma }(x+y)}}$

于是最终有参数p$p$的概率分布为:

P{p|data}=Beta(p;a+10,b+4)(1.11)$$\begin{array}{}\text{(1.11)}& P\{p|data\}=Beta(p;a+10,b+4)\end{array}$$

如果我们对p$p$毫无先验可言，那么可以令a=b=0$a=b=0$，这个时候的计算结果就和频率学派的一模一样，但是如果我们自认为对这个硬币的参数p$p$有所了解，但是又不是完全了解，比如说我们知道这个先验应该是一个均匀分布的（也就是正面和反面都应该是0.5的，这个应该是最朴素和直观的假设了。），而均匀分布是Beta分布的一个特例，我们可以令a=b=1$a=b=1$，这个时候有：

P{p|data}=Beta(p;11,5)(1.12)$$\begin{array}{}\text{(1.12)}& P\{p|data\}=Beta(p;11,5)\end{array}$$

图像如：

可以看到因为引入了这个朴素的假设，使得p$p$变成了一个中心在p=0.7$p=0.7$附近的钟形分布，这个时候就发现了和频率派的区别：我们的参数p是一个分布，而不只是一个数值而已。

---

有了P{p|data}$P\{p|data\}$，我们回归原问题，求:

P{HH|data}=∫10P{HH|p}P{p|data}dp(1.13)$$\begin{array}{}\text{(1.13)}& P\{HH|data\}={\int }_0^{1}P\{HH|p\}P\{p|data\}\mathrm{d}\mathrm{p}\end{array}$$

这里用积分的原因很简单，就是因为我们的p是一个分布，其值从0到1，因此需要用积分。
这里进行两个假设：
1. 投掷硬币每一次都是独立无关的。
2. 在这接下来的两个投掷过程中我们不更新P{p|data}$P\{p|data\}$

所以有：

P{HH|p}=[P{H|p}]2=p2(1.14)$$\begin{array}{}\text{(1.14)}& P\{HH|p\}=[P\{H|p\}{]}^2=p^2\end{array}$$

所以有:

P{HH|data}=∫10p2⋅P{p|data}dp(1.15)$$\begin{array}{}\text{(1.15)}& P\{HH|data\}={\int }_0^1{p}^2\cdot P\{p|data\}\mathrm{d}\mathrm{p}\end{array}$$

所以有:

P{HH|data}=1B(10+a,4+b)∫10p(10+a−1)+2(1−p)4+b−1=B(10+a+2,4+b)B(10+a,4+b)(19)(20)(1.16)$$\begin{array}{}\text{(1.16)}& \begin{array}{}\text{(19)}& P\{HH|data\}& ={\displaystyle \frac{1}{B(10+a,4+b)}}{\int }_0^1{p}^{(10+a-1)+2}(1-p{)}^{4+b-1}\text{(20)}& & ={\displaystyle \frac{B(10+a+2,4+b)}{B(10+a,4+b)}}\end{array}\end{array}$$

同样假设a=b=1$a=b=1$则有B(13,5)B(11,5)=0.485${\displaystyle \frac{B(13,5)}{B(11,5)}}=0.485$，从这里就看出了频率学派和贝叶斯学派的区别。

总结

频率学派和贝叶斯学派的方法优缺点概况：

• 频率学派是目前深度学习中最常使用的指导思想，但是要想其效果好，必须基于数据量巨大的情况下，否则很难估计出一个好的参数。（因为其不引入任何先验假设，只能从大数据中学习得到。）
• 贝叶斯学派的方法可以应用在数据量小的情况下，而且方便引入各种专家知识和先验知识，有些场景中表现更为优越。

实际上，频率学派和贝叶斯学派有着千丝万缕的关系，不可割裂看待，也没有孰优孰劣。

Reference

1. Bishop 《Pattern Recognize and Machine Learning, PRML》
2. 《Are you a Bayesian or a Frequentist? (Or Bayesian Statistics 101)》
3. 《Bayesian and frequentist reasoning in plain English》
4. 《先验概率、后验概率以及共轭先验》

---

1. 后验概率分布（正⽐于先验和似然函数的乘积）拥有与先验分布相同的函数形式。这个性质被叫做共轭性（Conjugacy）。共轭先验（conjugate prior）有着很重要的作⽤。它使得后验概率分布的函数形式与先验概率相同，因此使得贝叶斯分析得到了极⼤的简化 ↩