机器学习——概率论的加和与乘积规则

下面来推导概率论的加和与乘法规则
假设两个随机变量X和Y，随机变量X可以随机取任意的 $x_i, i=1,2,..., M$ ，随机变量Y可以随机取任意的 $y_j,j=1,2,...,L$ 。进行N次试验，对X和Y都进行了取样，把 $X=x_i$ 且 $Y=y_i$ 出现的试验次数记为 $n_{ij}$ 。并且把X取值为 $x_i$ （与Y的取值无关）出现的试验次数记为 $c_i$ , 类似地，把Y取值为 $y_j$ 的试验数量的次数记为 $r_j$ 。
X取值为 $x_i$ 且Y取值为 $y_j$ 的概率记为 $p(X=x_i,Y=y_j)$ ,被称为 $X=x_i$ 和 $Y=y_i$ 的联合概率（joint probability）。它的计算方法为落在单元格i,j的点的数量与总的点数的比值，即
$p(X=x_i,Y=y_j)=\frac{n_{ij}}{N}$ (1.5)
类似地，X取值 $x_i$ 的概率被记为 $p(X=x_i)$ ，它的计算方法为落在第i列上点数与点的总数的比值，即
$p(X=x_i)=\frac{c_i}{N}$ (1.6)
Y取 $y_j$ 的概率记为 $p(Y=y_j)$ , 它的计算方法为落在第j行的点数与点的总数的比值，即 $p(Y=y_j)=\frac{r_j}{N}$
由于下面图片中第i列各个方格里面点数之和满足 $c_i=\sum_{j}{n_{ij}}$ ,因此可以可以推导
$p(X=x_i)=\frac{c_i}{N}=\frac{\sum_{j}{n_{ij}}}{N}=\sum_{j}{\frac{n_{ij}}{N}}=\sum_j{p(X=x_i,Y=y_j)}$ (1.7)
公式（1.7）就是概率的加和规则。注意，此次单个变量的概率 $p(X=x_i)$ 有时被称为边缘概率。如果我们只考虑那些 $X=x_i$ 的实例，那么这些实例中 $Y=y_j$ 的实例所占的比例被写成 $p(Y=y_j|X=x_i)$ ，被称为给定 $X=x_i$ 的 $Y=y_j$ 的条件概率（conditional probability）。它的计算方式为：计算落在单元格 $ij$ 的点的数量与第i列的点的数量的比值，即
$p(Y=y_j|X=x_i)=\frac{n_{ij}}{c_j}$ (1.8)
根据公式（1.5）（1.6）（1.8），可以推导出下面公式
$p(X=x_i,Y=y_j)=\frac{n_{ij}}{N}=\frac{n_{ij}}{c_i}*\frac{c_{i}}{N}=p(Y=y_j|X=x_i)p(X=x_i)$ (1.9)
这个就是概率论的乘法规则。

使用如下简单的记法来表示概率论的两条基本规则：
sum rule $p(X)=\sum_Y{p(X,Y)}$ (1.10)
product rule $p(X,Y)=p(Y|X)p(X)$ (1.11)
这里的 $p(X,Y)$ 是联合概率，可以表述为“X且Y的概率”。类似地， $p(Y|X)$ 是条件概率，可以表述为“给定X条件下Y的概率”， $p(X)$ 是边缘概率，可以表述为“X的概率”。这两个简单的规则是概率论的基础。

上面介绍了概率论的两个重要的规则：加和规则和乘法规则。涉及到联合概率、条件概率、边缘概率这些名词和概念。下面基于此引入贝叶斯定理。由于联合概率的定义可知 $p(X,Y)=p(Y,X)$ ，根据乘法规则 $p(X,Y)=p(Y|X)p(X)=p(X|Y)p(Y)$ ，可以推导出
$p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)}$ （1.12）
这就是贝叶斯定理，在模式识别和机器学校领域中扮演者中心角色。使用（1.10）（1.11）可以得到 $p(X)=\sum_Y{p(X|Y)}{p(Y)}$ ，由此可见分母可以用出现在分子中的项来表示。我们可以将分母看出一个归一化的常数，用于确保公式（1.12）左侧的条件概率对于所有的取Y值之和为1