硬币游戏中的贝叶斯方法

引言

将一枚硬币随机投掷\(N\)次，其中正面朝上的次数为\(y_N\)次，请估计硬币在一次随机投掷中，正面向上的概率\(r\)为多少

频率学派：概率就是频率的极限，因此\(r\)的估计值就是\(\frac{y_N}{N}\)

贝叶斯学派：根据\(r\)的先验分布、似然函数和观测值，再利用贝叶斯公式，就可以得到\(r\)的后验分布......

贝叶斯学派的方法，就是利用观测值对先验分布进行修正得到后验分布，后验分布综合了先验分布和观测值两方面的信息，因此这种方法比单纯看观测值的频率法更合理。

变量
在贝叶斯方法中，共有四个变量，这四个变量以及它们之间的关系如下图所示

贝叶斯方法的目标是在给定概率分布、似然和观测值的情况下，求概率分布的后验

硬币投掷问题中的目标就是在给定\(p(r)\)、二项分布和\(y_N\)的情况下，求\(p(r)\)的后验

先验

设\(p(r)\)服从参数为\(\alpha,\beta\)的beta分布：\(p(r)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}r^{\alpha-1}(1-r)^{\beta-1}\)

之所以设\(p(r)\)服从beta分布，是由于beta分布是二项分布的共轭先验

似然

给定\(r\)，可以通过二项分布计算出硬币在\(N\)次投掷中正面朝上的次数为\(y_N\)的概率是\(p(y_N|r)=C_N^{y_N}{r^{y_N}}(1-r)^{N-y_N}\)

贝叶斯公式

求后验分布需要用到贝叶斯公式：\(P(X=x|Y=y)=\frac{P(Y=y|X=x)P(X=x)}{P(Y=y)}\)

公式的含义为：后验=似然*先验/边缘分布

其中先验和后验是关于隐变量的概率分布函数，似然和边缘分布是关于观测变量的概率分布函数

边缘分布

将贝叶斯公式套用到硬币问题中，得到下式

\(p(r|y_N)=\frac{P(y_N|r)p(r)}{P(y_N)}\)

其中，\(p(r)\) 是已知的，\(P(y_N|r)\) 可以通过二项分布求得，\(P(y_N)\) 需要通过下式计算：

\(P(y_N)=\int_{r=0}^{r=1}P(y_N|r)p(r)dr\)

但是这个积分通常是很难求得解析解的

共轭先验

在贝叶斯公式（后验=似然*先验/边缘分布）中，如果先验是似然的所谓“共轭先验”，那么后验与先验就具有相同形式的概率分布。在贝叶斯估计中，如果先验和似然是共轭的，就可以绕过边缘分布直接求后验。下表展示了４个“先验-似然共轭对”

求解

根据贝叶斯公式，有

\(p(r|y_N)=\frac{P(y_N|r)p(r)}{P(y_N)}=K_0 P(y_N|r)p(r) \\ =K_0 \cdot C_N^{y_N}{r^{y_N}}(1-r)^{N-y_N} \cdot \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}r^{\alpha-1}(1-r)^{\beta-1} \\ = K_1 \cdot r^{y_N+\alpha-1} \cdot (1-r)^{N-y_N+\beta-1}\)

由于后验\(p(r|y_N)\)也服从beta分布，因此系数\(K_1\)可以直接按beta分布的定义导出，因此后验为

\(p(r|y_N) = \frac{\Gamma(N+\alpha+\beta)}{\Gamma(y_N+\alpha)\Gamma(N-y_N+\beta)} \cdot r^{y_N+\alpha-1} \cdot (1-r)^{N-y_N+\beta-1}\)

参考文献： 《机器学习基础教程》Simon Rogers Mark Girolami