数学基础-概率论

事件与概率

概念

1. 样本空间： 一个_随机试验_的所有可能结果组成的集合
2. 事件： $ S $ 的一个子集 $ A $ , $ A \subseteq S $ , 称为事件.
3. $ A \cup B $ , $ A $ 与 $ B $ 的并, 即发生 $ A $ 或 $ B $ 或者两者都发生; $ A \cap B $ , $ A $ 与 $ B $ 的交, 即 $ A $ 与 $ B $ 都发生; $ A^c $ , $ A $ 的补, 即 $ A $ 不发生; $ A\setminus B $ , $ A $ 与 $ B $ 的差, 即 $ A $ 发生, $ B $ 不发生; $ \oslash $ , 空, 即都不发生;
4. 概率公理: 满足以下3个条件的函数称之为概率函数.

• $ 0 \le P(A) \le 1 $
• $ P(s) = 1 $
• 如果 $ A_1A_2A_3... $ 是一系列两两无关的事件,则 $$ P\lgroup \bigcup_{k=1}^{\infty}A_k \rgroup = \sum_{k=1}^{\infty}P \lgroup A_{k} \rgroup $$

5. 条件概率: 令 $ B $ 为一个事件满足 $ P(B)>0 $ .对于任意一个事件 $ A $ ,定义关于 $ B $ 的条件概率为: $$ P \lgroup A | B \rgroup = \frac{P(A \cap B)}{P(B)} $$
6. 独立: 如果事件 $ A $ 和事件 $ B $ 相互独立,那么 $ P(A \cap B) = P(A)P(B) $ , 同时它的逆命题也是成立的.

性质

1. 概率的加法公式: $$ P(A \cup B) = P(A) + P(B) - P(A \cap B) $$
2. 并的界 $$ P(A \cup B) \le P(A) + P(B) $$
3. 全概率公式:
   设 $ B1B2B3... $ 是样本空间 $ S $ 中互不相交的一系列事件,并且满足 $ S = \bigcup_{i=1}^{n}B_i $ , 那么对于任意事件 $ A $ , $$ P \lgroup A \rgroup = \sum_{k=1}^{n} P \lgroup A | B_k \rgroup P \lgroup B_k \rgroup $$

期望与方差

概念

1. 随机变量: 在样本空间 $ S $ 上的一个随机变量 $ X $ 是 $ S $ 上的一个取值为实数的函数.只取有限个或者可数无穷多个值的随机变量称为离散随机变量;(e.g. 假设 $ X $ 是表示骰子点数的随机变量,那么对于一个公平的骰子来说, $ P \lgroup X = 1 \rgroup = \frac{1}{6} $
2. 数学期望: 对于取值有限的离散型随机变量 $ X $ , 假设 $ X $ 有概率分布 $ p_j = P \lgroup X = x_j \rgroup $ , 则称 $ E \lgroup X \rgroup = \sum_{j=1}^{n}x_jp_j $ 为 $ X $ 的数学期望, 其中n为 $ X $ 不同取值的个数. 例如对于一个公平的骰子来说, $ X $ 是表示骰子点数的随机变量,则 $$ E(x) = \frac{1}{6}(1+2+3+4+5+6)=3.5 $$
3. 方差: 定义离散随机变量 $ X $ 的方差为 $ var(X)=E(X-E(X))^2 $ .称 $ \sigma_x=\sqrt{var(X)} $ 为其标准差.

性质

1. 期望的线性性: 对于任意一组有限个离散随机变量来说 $ X_1,X_2,X_3,...,X_n $ $$ \sum_{i=1}^{n}E(X_i) = E\lgroup \sum_{i=1}^nX_i \rgroup $$
2. 如果 $ X $ 和 $ Y $ 是两个独立的随机变量,那么 $$ E(XY)=E(X)E(Y) $$
3. 马尔科夫不等式: 假设 $ X $ 是只取非负数值的随机变量, 对于任意 $ a>0 $ , 有 $$ P \lgroup X \ge a \rgroup \le \frac{E(X)}{a} $$
4. 切比雪夫不等式: 对于任意随机变量 $ X $ 及任意 $ a>0 $ , 有 $$ P\lgroup |X-E(x)| \ge a \rgroup \le \frac{var(X)}{a^2} $$

概率分布

1. 二项分布: 一个事件 $ A $ ,它发生的概率为 $ p $ ,进行 $ n $ 次实验,事件 $ A $ 发生 $ k $ 次的概率. 二项分布的概率函数满足 $$ p(k)= \binom{n}{k}p^k(1-p) $$
   称为以n,p为参数的二项分布. 随机变量 $ X $ 表示 $ n $ 次实验中正面朝上的次数,由线性性可知: $$ E[X]=E_1[X]+E_2[X]+\cdots+E_n[X]=n(0 \times(1-p)+1\times p)=np $$ 其中 $ E_i[X] $ 表示第i次朝上的期望
2. 几何分布: 一个事件 $ A $ ,它发生的概率为 $ p $ ,进行 $ n $ 次实验,直到第 $ k $ 次事件才发生的概率. 概率函数满足 $$ p(k)= p(1-p)^{k-1} $$
   称为参数 $ p $ 的几何分布. 随机变量 $ X $ 表示第一次朝上时抛了多少次.可以通过递归列出方程求解. $$ E[X]=p+(1-p)(E[X]+1) $$ 解的期望为 $ E[X]=\frac{1}{p} $ .