机器学习数学基础（四）

条件概率
独立性和条件独立性
期望
方差
协方差
相关系数

条件概率

条件概率 条件概率公式如下：

\[P(A/B) = P(A\cap B) / P(B) \]

条件概率的链式法则 由条件概率的定义，可直接得出如下的乘法公式：

设 \(A, B\) 是两个事件，并且 \(P(A) > 0\) ，则有：

\[P(AB) = P(B|A)P(A) \]

一般地，用归纳法可证：若 \(P(A_1A_2...A_n)>0\) ，则有:

\[P(A_1A_2...A_n)=P(A_n|A_1A_2...A_{n-1})P(A_{n-1}|A_1A_2...A_{n-2})...P(A_2|A_1)P(A_1) \\ P(A_1A_2...A_n)=P(A_1)\prod_{i=2}^{n}P(A_i|A_1A_2...A_{i-1}) \]

独立性和条件独立性

独立性 两个随机变量 \(x\) 和 \(y\) ，概率分布表示成两个因子乘积形式，一个因子只包含 \(x\) ，另一个因子只包含 \(y\) ，两个随机变量相互独立(independent)。

事件独立时，联合概率等于概率的乘积。\(P(XY)=P(X)P(Y)\) ，事件 \(X\) 和事件 \(Y\) 独立。此时给定 \(Z\) ，\(P(X,Y|Z) \not = P(X|Z)P(Y|Z)\) 。

条件独立性 给定 \(Z\) 的情况下，\(X\) 和 \(Y\) 条件独立，当且仅当：

\[X\bot Y|Z \iff P(X,Y|Z) = P(X|Z)P(Y|Z) \]

\(X\) 和 \(Y\) 的关系依赖于 \(Z\) ，而不是直接产生。

期望

期望在概率论和统计学中，数学期望（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小。

线性运算：\(E(ax+by+c) = aE(x)+bE(y)+c\)
推广形式：\(E(\sum_{k=1}^{n}{a_ix_i+c}) = \sum_{k=1}^{n}{a_iE(x_i)+c}\)
函数期望：设 \(f(x)\) 为 \(x\) 的函数，则 \(f(x)\) 的期望为：
- 离散函数：\(E(f(x))=\sum_{k=1}^{n}{f(x_k)P(x_k)}\)
- 连续函数：\(E(f(x))=\int_{-\infty}^{+\infty}{f(x)p(x)dx}\)
一般情况下，乘积的期望不等于期望的乘积。如果 \(X\) 和 \(Y\) 相互独立，则 \(E(xy)=E(x)E(y)\) 。

方差

方差概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。方差是一种特殊的期望。定义为：

\[Var(x) = E((x-E(x))^2) \]

\(Var(x) = E(x^2) -E(x)^2\)
常数的方差为 \(0\)
方差不满足线性性质
如果 \(X\) 和 \(Y\) 相互独立，\(Var(ax+by)=a^2Var(x)+b^2Var(y)\)

协方差

协方差 协方差是衡量两个变量线性相关性强度及变量尺度。两个随机变量的协方差定义为：

\[Cov(x,y)=E((x-E(x))(y-E(y))) \]

方差是一种特殊的协方差。当 \(X=Y\) 时，\(Cov(x,y)=Var(x)=Var(y)\) 。

独立变量的协方差为 \(0\)
协方差计算公式：

\[Cov(\sum_{i=1}^{m}{a_ix_i}, \sum_{j=1}^{m}{b_jy_j}) = \sum_{i=1}^{m} \sum_{j=1}^{m}{a_ib_jCov(x_iy_i)} \]

特殊情况：\(Cov(a+bx, c+dy) = bdCov(x, y)\)