机器学习——概率论的加和与乘积规则
下面来推导概率论的加和与乘法规则
假设两个随机变量X和Y,随机变量X可以随机取任意的\(x_i, i=1,2,..., M\),随机变量Y可以随机取任意的\(y_j,j=1,2,...,L\)。进行N次试验,对X和Y都进行了取样,把\(X=x_i\)且\(Y=y_i\)出现的试验次数记为\(n_{ij}\)。并且把X取值为\(x_i\)(与Y的取值无关)出现的试验次数记为\(c_i\), 类似地,把Y取值为\(y_j\)的试验数量的次数记为\(r_j\)。
X取值为\(x_i\)且Y取值为\(y_j\)的概率记为\(p(X=x_i,Y=y_j)\),被称为\(X=x_i\)和\(Y=y_i\)的联合概率(joint probability)。它的计算方法为落在单元格i,j的点的数量与总的点数的比值,即
\(p(X=x_i,Y=y_j)=\frac{n_{ij}}{N}\) (1.5)
类似地,X取值\(x_i\)的概率被记为\(p(X=x_i)\),它的计算方法为落在第i列上点数与点的总数的比值,即
\(p(X=x_i)=\frac{c_i}{N}\) (1.6)
Y取\(y_j\)的概率记为\(p(Y=y_j)\), 它的计算方法为落在第j行的点数与点的总数的比值,即\(p(Y=y_j)=\frac{r_j}{N}\)
由于下面图片中第i列各个方格里面点数之和满足\(c_i=\sum_{j}{n_{ij}}\),因此可以可以推导
\(p(X=x_i)=\frac{c_i}{N}=\frac{\sum_{j}{n_{ij}}}{N}=\sum_{j}{\frac{n_{ij}}{N}}=\sum_j{p(X=x_i,Y=y_j)}\) (1.7)
公式(1.7)就是概率的加和规则。注意,此次单个变量的概率\(p(X=x_i)\)有时被称为边缘概率。如果我们只考虑那些\(X=x_i\)的实例,那么这些实例中\(Y=y_j\)的实例所占的比例被写成\(p(Y=y_j|X=x_i)\),被称为给定\(X=x_i\)的\(Y=y_j\)的条件概率(conditional probability)。它的计算方式为:计算落在单元格\(ij\)的点的数量与第i列的点的数量的比值,即
\(p(Y=y_j|X=x_i)=\frac{n_{ij}}{c_j}\) (1.8)
根据公式(1.5)(1.6)(1.8),可以推导出下面公式
\(p(X=x_i,Y=y_j)=\frac{n_{ij}}{N}=\frac{n_{ij}}{c_i}*\frac{c_{i}}{N}=p(Y=y_j|X=x_i)p(X=x_i)\) (1.9)
这个就是概率论的乘法规则。
使用如下简单的记法来表示概率论的两条基本规则:
sum rule \(p(X)=\sum_Y{p(X,Y)}\) (1.10)
product rule \(p(X,Y)=p(Y|X)p(X)\) (1.11)
这里的\(p(X,Y)\)是联合概率,可以表述为“X且Y的概率”。类似地,\(p(Y|X)\)是条件概率,可以表述为“给定X条件下Y的概率”,\(p(X)\)是边缘概率,可以表述为“X的概率”。这两个简单的规则是概率论的基础。
上面介绍了概率论的两个重要的规则:加和规则和乘法规则。涉及到联合概率、条件概率、边缘概率这些名词和概念。下面基于此引入贝叶斯定理。由于联合概率的定义可知\(p(X,Y)=p(Y,X)\),根据乘法规则\(p(X,Y)=p(Y|X)p(X)=p(X|Y)p(Y)\),可以推导出
\(p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)}\) (1.12)
这就是贝叶斯定理,在模式识别和机器学校领域中扮演者中心角色。使用(1.10)(1.11)可以得到\(p(X)=\sum_Y{p(X|Y)}{p(Y)}\),由此可见分母可以用出现在分子中的项来表示。我们可以将分母看出一个归一化的常数,用于确保公式(1.12)左侧的条件概率对于所有的取Y值之和为1
参考
【1】机器学习 周志华