数学基础-概率论

事件与概率

概念#

1. 样本空间： 一个_随机试验_的所有可能结果组成的集合
2. 事件： $S$ 的一个子集 $A$ , $A \subseteq S$ , 称为事件.
3. $A \cup B$ , $A$ 与 $B$ 的并, 即发生 $A$ 或 $B$ 或者两者都发生; $A \cap B$ , $A$ 与 $B$ 的交, 即 $A$ 与 $B$ 都发生; $A^c$ , $A$ 的补, 即 $A$ 不发生; $A\setminus B$ , $A$ 与 $B$ 的差, 即 $A$ 发生, $B$ 不发生; $\oslash$ , 空, 即都不发生;
4. 概率公理: 满足以下3个条件的函数称之为概率函数.

• $0 \le P(A) \le 1$
• $P(s) = 1$
• 如果 $A_1A_2A_3...$ 是一系列两两无关的事件,则 $$P\lgroup \bigcup_{k=1}^{\infty}A_k \rgroup = \sum_{k=1}^{\infty}P \lgroup A_{k} \rgroup$$

5. 条件概率: 令 $B$ 为一个事件满足 $P(B)>0$ .对于任意一个事件 $A$ ,定义关于 $B$ 的条件概率为: $$P \lgroup A | B \rgroup = \frac{P(A \cap B)}{P(B)}$$
6. 独立: 如果事件 $A$ 和事件 $B$ 相互独立,那么 $P(A \cap B) = P(A)P(B)$ , 同时它的逆命题也是成立的.

性质#

1. 概率的加法公式: $$P(A \cup B) = P(A) + P(B) - P(A \cap B)$$
2. 并的界 $$P(A \cup B) \le P(A) + P(B)$$
3. 全概率公式:
   设 $B1B2B3...$ 是样本空间 $S$ 中互不相交的一系列事件,并且满足 $S = \bigcup_{i=1}^{n}B_i$ , 那么对于任意事件 $A$ , $$P \lgroup A \rgroup = \sum_{k=1}^{n} P \lgroup A | B_k \rgroup P \lgroup B_k \rgroup$$

期望与方差

概念#

1. 随机变量: 在样本空间 $S$ 上的一个随机变量 $X$ 是 $S$ 上的一个取值为实数的函数.只取有限个或者可数无穷多个值的随机变量称为离散随机变量;(e.g. 假设 $X$ 是表示骰子点数的随机变量,那么对于一个公平的骰子来说, $P \lgroup X = 1 \rgroup = \frac{1}{6}$
2. 数学期望: 对于取值有限的离散型随机变量 $X$ , 假设 $X$ 有概率分布 $p_j = P \lgroup X = x_j \rgroup$ , 则称 $E \lgroup X \rgroup = \sum_{j=1}^{n}x_jp_j$ 为 $X$ 的数学期望, 其中n为 $X$ 不同取值的个数. 例如对于一个公平的骰子来说, $X$ 是表示骰子点数的随机变量,则 $$E(x) = \frac{1}{6}(1+2+3+4+5+6)=3.5$$
3. 方差: 定义离散随机变量 $X$ 的方差为 $var(X)=E(X-E(X))^2$ .称 $\sigma_x=\sqrt{var(X)}$ 为其标准差.

性质#

1. 期望的线性性: 对于任意一组有限个离散随机变量来说 $X_1,X_2,X_3,...,X_n$ $$\sum_{i=1}^{n}E(X_i) = E\lgroup \sum_{i=1}^nX_i \rgroup$$
2. 如果 $X$ 和 $Y$ 是两个独立的随机变量,那么 $$E(XY)=E(X)E(Y)$$
3. 马尔科夫不等式: 假设 $X$ 是只取非负数值的随机变量, 对于任意 $a>0$ , 有 $$P \lgroup X \ge a \rgroup \le \frac{E(X)}{a}$$
4. 切比雪夫不等式: 对于任意随机变量 $X$ 及任意 $a>0$ , 有 $$P\lgroup |X-E(x)| \ge a \rgroup \le \frac{var(X)}{a^2}$$

概率分布#

1. 二项分布: 一个事件 $A$ ,它发生的概率为 $p$ ,进行 $n$ 次实验,事件 $A$ 发生 $k$ 次的概率. 二项分布的概率函数满足 $$ p(k)= \binom{n}{k}p^k(1-p) $$称为以n,p为参数的二项分布. 随机变量 $ X $ 表示 $ n $ 次实验中正面朝上的次数,由线性性可知:$$ E[X]=E_1[X]+E_2[X]+\cdots+E_n[X]=n(0 \times(1-p)+1\times p)=np $$ 其中 $E_i[X]$ 表示第i次朝上的期望
2. 几何分布: 一个事件 $A$ ,它发生的概率为 $p$ ,进行 $n$ 次实验,直到第 $k$ 次事件才发生的概率. 概率函数满足 $$p(k)= p(1-p)^{k-1}$$
   称为参数 $p$ 的几何分布. 随机变量 $X$ 表示第一次朝上时抛了多少次.可以通过递归列出方程求解. $$E[X]=p+(1-p)(E[X]+1)$$ 解的期望为 $E[X]=\frac{1}{p}$ .