PRML-1.2概率论,贝叶斯定理

1.联合概率,边缘概率,条件概率

$假设有两个离散随机变量X,Y,X有5种取值,Y有3种取值,做N次试验,其中我们 对X和Y 都进⾏取样，把X = x_i且Y = y_j的试验的数量记作n_{ij}。并且，把X取值x_i（与Y 的取 值⽆关）的试验的数量记作c_i，类似地，把Y 取值y_j的试验的数量记作r_j,如图$

$联合概率p(X=x_i,Y=y_j),称为联合概率$(joint probability)$,其中i = 1, . . . , M,j = 1, . . . , L$
$p(X=x_i,Y=y_j)=\frac{n_{ij}}{N}$
$边缘概率,p(X=x_i)=\frac{c_j}{N},称为边缘概率$marginal probability
$p(X=x_i)=\frac{c_j}{N}=\sum\limits_{j=1}^{L}p(X=x_i,Y=y_j)$
$条件概率$
$如果我们只考虑那些X=x_i的实例,那么这些实例中Y = y_j的实例所占的⽐例被写成p(Y = y_j | X = x_i)，被称为给定X = x_i的Y = y_j的条件概率$(conditional probability)
$p(Y = y_j | X = x_i)=\frac{n_{ij}}{c_i}$

2.加法规则 Sum Rule

$p(X=x_i)=\frac{c_j}{N}=\sum\limits_{j=1}^{L}p(X=x_i,Y=y_j)$
$一般简写为$
$p(X)=\sum\limits_Yp(X,Y)-离散型$
$p(X)=\int p(X,Y)dY-连续型$

3.乘法规则 Product Rule

$p(X=x_i,Y=y_j)=\frac{n_{ij}}{N}=\frac{n_{ij}}{c_i}\frac{c_i}{N}=p(Y = y_j | X = x_i)p(X=x_i)$
$一般简写为$
$p(X,Y)=p(Y|X)p(X)$
$p(X,Y)是联合概率,p(Y|X)是条件概率,p(X)是边缘概率$

举个例子

4.贝叶斯定理（Bayes' theorem）

$p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)}$
贝叶斯定理（Bayes' theorem），在模式识别和机器学习领域扮演者中⼼⾓⾊
贝叶斯定理中的分母可以⽤出现在分⼦中的项表⽰：
$p(X) = \sum\limits_Yp(X|Y)p(Y)-离散型$
$p(X)=\int p(X,Y)dY-连续型-\color{red}{这里要做积分，也就是贝叶斯公式不太好求的地方}$
$p(X)=\int p(X|Y)p(Y)dY - 也可以这么写，在1.2.3章节贝叶斯定理中用到$
我们可以把贝叶斯定理的分母看做归⼀化常数，⽤来确保公式（1.12）左侧的条件概率对于所有的Y 的取值之和为1。

5.相互独立

$如果两个变量的联合分布可以分解成两个边缘分布的乘积，即p(X, Y ) = p(X)p(Y )，那么我们说X和Y相互独⽴（independent）。根据乘积规则，我们可以得到p(Y | X) = p(Y )，因此对于给定X的条件下的Y 的条件分布实际上独⽴于X的值。$

6.案例

$有两个盒子(B),一个是红色(r),一个是蓝色(b),盒子中有两种水果(F),一种是苹果(a),一种是橘子(o),现在有40%的概率抽到红盒子,60%概率抽到蓝盒子,红盒子中有2个苹果，6个橘子，蓝盒子中有3个苹果，1个橘子$
$假设现在拿到了橘子，那么抽到蓝色盒子的概率有多大?$
$p(B=r)=\frac{4}{10}$
$p(B=b)=\frac{6}{10}$
$四个条件概率$
$p(F=a|B=r)=\frac{1}{4}$
$p(F=o|B=r)=\frac{3}{4}$
$p(F=a|B=b)=\frac{3}{4}$
$p(F=o|B=b)=\frac{1}{4}$
$注意，这些概率都是归一化的,有$
$p(F=a|B=r) +p(F=o|B=r)=1$
$p(F=a|B=b) +p(F=o|B=b)=1$
$利用加法规则计算整体概率$
$p(F=a)=p(F=a|B=r)p(B=r)+p(F=a|B=b)p(B=b) = 1/4 *4/10 +3/4 *6/10 =11/20$
$p(F=0)=1-11/20=9/20$
$利用贝叶斯定理计算条件概率$
$p(B=r|F=o)=\frac{p(F=o|B=r)p(B=r)}{p(F=o)}=3/4* 4/10 * 20/9 = 2/3$
$其中\color{red}{p(B)代表先验,p(B|F)是后验概率}$
$从机器学习的角度看F是样本,B就是模型参数$
$贝叶斯学派的观点就是根据贝叶斯定理来计算p(B|F),而频率派的观点就是用足够多的样本来接近p(B|F)$