概率与期望学习笔记(copy)

概率 & 期望

样本空间、随机事件

定义

一个随机现象中可能发生的不能再细分的结果被称为 样本点。所有样本点的集合称为 样本空间，通常用 $\Omega$ 来表示。

一个 随机事件 是样本空间 $\Omega$ 的子集，它由若干样本点构成，用大写字母 $A, B, C, \cdots$ 表示。

对于一个随机现象的结果 $\omega$ 和一个随机事件 $A$，我们称事件 $A$ 发生了 当且仅当 $\omega \in A$。

例如，掷一次骰子得到的点数是一个随机现象，其样本空间可以表示为 $\Omega=\{1,2,3,4,5,6\}$。设随机事件 $A$ 为「获得的点数大于 $4$」，则 $A = \{ 5, 6 \}$。若某次掷骰子得到的点数 $\omega = 3$，由于 $\omega \notin A$，故事件 $A$ 没有发生。

事件的运算

由于我们将随机事件定义为了样本空间 $\Omega$ 的子集，故我们可以将集合的运算（如和、差、交、并、补等）移植到随机事件上。记号与集合运算保持一致。

特别的，事件的并 $A \cup B$ 也可记作 $A + B$，事件的交 $A \cap B$ 也可记作 $AB$，此时也可分别称作 和事件 和 积事件。

因为事件在一定程度上是以集合的含义定义的，因此可以把事件当作集合来对待。

和事件 ：相当于 并集 。若干个事件中只要其中之一发生，就算发生了它们的和事件。

积事件 ：相当于 交集 。若干个事件必须全部发生，才算发生了它们的积事件。

概率

定义

古典定义

在概率论早期实践中，由于涉及到的随机现象都比较简单，具体表现为样本空间 $\Omega$ 是有限集，且直观上所有样本点是等可能出现的，因此人们便总结出了下述定义：

如果一个随机现象满足：

• 只有有限个基本结果；
• 每个基本结果出现的可能性是一样的；

那么对于每个事件 $A$，定义它的概率为

$$P(A)=\frac{card(A)}{card(\Omega)}$$

其中 $card()$ 表示对随机事件（一个集合）大小的度量。

统计定义

如果在一定条件下，进行了 $n$ 次试验，事件 $A$ 发生了 $N(A)$ 次，如果随着 $n$ 逐渐增大，频率 $\displaystyle\frac{N_A}{N}$ 逐渐稳定在某一数值 $p$ 附近，那么数值 $p$ 称为事件 $A$ 在该条件下发生的概率，记做 $P(A)=p$。

公理化定义

概率函数 $P$ 是一个从事件域 $\mathcal{F}$ 到闭区间 $[0, 1]$ 的映射，且满足：

• 规范性：事件 $\Omega$ 的概率值为 $1$，即 $P(\Omega)=1$。
• 可数可加性：若一列事件 $A_1, A_2, \cdots$ 两两不交，则 $\displaystyle P\left( \bigcup_{i \geq 1} A_i \right) = \sum_{i \geq 1} P(A_i)$。

概率函数的性质

对于任意随机事件 $A, B \in \mathcal{F}$，有

• 单调性：若 $A \subset B$，则有 $P(A) \leq P(B)$。
• 容斥原理：$P(A+B) = P(A) + P(B) - P(AB)$。
• $P(A - B) = P(A) - P(AB)$，这里 $A - B$ 表示差集。

条件概率

定义

若已知事件 $A$ 发生，在此条件下事件 $B$ 发生的概率称为 条件概率，记作 $P(B|A)$。

在概率空间 $(\Omega, \mathcal{F}, P)$ 中，若事件 $A \in \mathcal{F}$ 满足 $P(A) > 0$，则条件概率 $P(B|A)$ 定义为

$$P(B|A) = \frac{P(AB)}{P(A)} \qquad \forall B \in \mathcal{F}$$

可以验证根据上式定义出的 $P(B|A)$ 是 $(\Omega, \mathcal{F})$ 上的概率函数。

根据条件概率的定义可以直接推出下面两个等式：

• 概率乘法公式：在概率空间 $(\Omega, \mathcal{F}, P)$ 中，若 $P(A) > 0$，则对任意事件 $B$ 都有

$$P(AB) = P(A)P(B|A)$$

• 全概率公式：在概率空间 $(\Omega, \mathcal{F}, P)$ 中，若一组事件 $A_1, \cdots, A_n$ 两两不交且和为 $\Omega$，则对任意事件 $B$ 都有

$$P(B) = \sum_{i=1}^{n} P(A_i)P(B|A_i)$$

Bayes 公式

一般来说，设可能导致事件 $B$ 发生的原因为 $A_1, A_2, \cdots, A_n$，则在 $P(A_i)$ 和 $P(B|A_i)$ 已知时可以通过全概率公式计算事件 $B$ 发生的概率。但在很多情况下，我们需要根据「事件 $B$ 发生」这一结果反推其各个原因事件的发生概率。于是有

$$P(A_i|B) = \frac{P(A_iB)}{P(B)} = \frac{P(A_i)P(B|A_i)}{\displaystyle\sum_{j=1}^{n} P(A_j)P(B|A_j)}$$

上式即 Bayes 公式。

事件的独立性

在研究条件概率的过程中，可能会出现 $P(B|A) = P(B)$ 的情况。从直观上讲就是事件 $B$ 是否发生并不会告诉我们关于事件 $A$ 的任何信息，即事件 $B$ 与事件 $A$「无关」。于是我们就有了下面的定义

定义

若同一概率空间中的事件 $A$，$B$ 满足

$$P(AB) = P(A)P(B)$$

则称 $A$，$B$ 独立。对于多个事件 $A_1, A_2, \cdots, A_n$，我们称其独立，当且仅当对任意一组事件 $\{ A_{i_k} : 1 \leq i_1 < i_2 < \cdots < i_k \leq n \}$ 都有

$$P( A_{i_1}A_{i_2} \cdots A_{i_r} ) = \prod_{k=1}^{r} P(A_{i_k})$$

直观地说，我们认为两个东西独立，当它们在某种意义上互不影响。例如，一个人出生的年月日和他的性别，这两件事是独立的；但一个人出生的年月日和他现在的头发总量，这两件事就不是独立的，因为一个人往往年纪越大头发越少。数学中的独立性与这种直观理解大体相似，但不尽相同。

多个事件的独立性

对于多个事件，一般不能从两两独立推出这些事件独立。考虑以下反例：

有一个正四面体骰子，其中三面被分别涂成红色、绿色、蓝色，另一面则三色皆有。现在扔一次该骰子，令事件 $A$,$B$,$C$ 分别表示与桌面接触的一面包含红色、绿色、蓝色。

不难计算 $P(A) = P(B) = P(C) = \displaystyle\frac{1}{2}$，而 $P(AB) = P(BC) = P(CA) = P(ABC) = \displaystyle\frac{1}{4}$。

显然 $A$，$B$，$C$ 两两独立，但由于 $P(ABC) \ne P(A)P(B)P(C)$，故 $A, B, C$ 不独立。

随机事件的独立性

我们称两个事件 $A$，$B$ 独立，当 $P(A \cap B) = P(A) \cdot P(B)$。

我们称若干个事件 $A_{1,\dots,n}$ 互相独立，当对于其中的任何一个子集，该子集中的事件同时发生的概率，等于其中每个事件发生的概率的乘积。形式化地说：

$$P(\bigcap_{E \in T} E) = \prod_{E \in T} P(E). \forall T \subseteq \{A_1,A_2,\dots,A_n\}$$

由此可见，若干事件 两两独立 和 互相独立 是不同的概念。

随机变量的独立性

一下用 $I(X)$ 表示随机变量 $X$ 的取值范围。即，如果把 $X$ 看做一个映射，则 $I(X)$ 看做它的值域。

我们称两个随机变量 $X,Y$ 独立，当 $P((X = \alpha) \cap (Y = \beta)) = P(X = \alpha) P(Y = \beta)$, $\forall\alpha\in I(X),\beta\in I(Y)$，即 $(X,Y)$ 取任意一组值得概率，等于 $X$ 和 $Y$ 分别取对应值得概率的乘积。

我们称若干个随机变量 $X_{1,\dots,n}$ 互相独立，当 $(X_1,X_2,\dots,X_n)$ 取任意一组值得概率，等于每个 $X_i$ 分别取对应值的概率的乘积。形式化地说：

$$P\Big(\bigcap_{i = 1}^n X_i = F_i\Big) = \prod_{i = 1}^{n} P(X_i = F_i), \forall F_{1,\dots,n} s.t. F_i \in I(X_i)$$

由此可见，若干随机变量 两两独立 和 互相独立 是不同的概念。

概率的计算

• 广义加法公式：对于任意两个事件 $A,B$ 有 $\displaystyle P(A \cup B) = P(A) + P(B) - P(A \cap B)$。

• 条件概率：记 $P(B \mid A)$ 表示在 $A$ 事件发生的前提下， $B$ 事件发生的概率。则 $\displaystyle P(B \mid A) = \frac{P(AB)}{P(A)}$，其中 $P(AB)$ 为事件 $A$ 和事件 $B$ 同时发生的概率。

• 乘法公式：$P(AB) = P(A) \cdot P(B \mid A) = P(B) \cdot P(A \mid B)$。

• 全概率公式：若事件 $A_1,A_2,A_3.\dots,A_n$ 构成一组完备的事件且都有正概率，即 $\forall i,j,A_i \cap A_j = \varnothing$ 且 $\displaystyle \sum_{i = 1}^n A_i = 1$， 则有 $\displaystyle P(B) = \sum_{i=1} ^nP(A_i)P(B \mid A_i)$。

• 贝叶斯定理：$\displaystyle P(B_i \mid A) = \frac{P(B_i) P(A \mid B_i)}{\displaystyle \sum_{j = 1}^n P(B_j) P(A \mid B_j)}$

随机变量

直观地说，一个随机变量，是一个取值由随机事件决定的变量。

如果基于概率的公理化定义，那么一个随机变量。形式化地说——是一个从样本空间 $S$ 到实数集 $\R$（或者 $\R$ 的某个子集）的映射 $X$ 。如果 $X(A) = \alpha$，你可以直观理解为：当随机实验 $E$ 取结果 $A$ 时，该随机变量取值 $\alpha$。

由此可以看到，“随机变量 $X$ 取值 $\alpha$ ”（简记为 $X = \alpha$）也对应着一个能实现该命题的单位事件集合，因此它也是一个事件，于是也有与之对应的概率 $P(X = \alpha)$。

期望

引入

想象一下这样一个场景：狗狗 Emissary 想找 tsqtsqtsq 打 slay，但是 tsqtsqtsq 今天想搞卷，于是他想出了这样个办法：

• 如果狗狗 Emissary 在今天的 $\texttt{clg round}$ 中获得大于 300 pts，tsqtsqtsq 就会陪它打三小时。
• 如果狗狗 Emissary 在今天的 $\texttt{clg round}$ 中获得大于 200 pts，tsqtsqtsq 就会陪它打两小时。
• 如果狗狗 Emissary 在今天的 $\texttt{clg round}$ 中获得大于 100 pts，tsqtsqtsq 就会陪它打一小时。
• 如果狗狗 Emissary 在今天的 $\texttt{clg round}$ 中获得大于 0 pts，tsqtsqtsq 就会陪它打半小时。

因为狗狗 Emissary 很强，所以它不会保龄。

试求 tsqtsqtsq 陪狗狗 Emissary 打 slay 的期望时长。

我们首先根据条件列出下面这张表格：

分数	时长	概率
$(300,400]$	$3$ 小时	$\displaystyle\frac{1}{4}$
$(200,300]$	$2$ 小时	$\displaystyle\frac{1}{4}$
$(100,200]$	$1$ 小时	$\displaystyle\frac{1}{4}$
$(0,100]$	$0.5$ 小时	$\displaystyle\frac{1}{4}$

令狗狗 Emissary 在今天的 $\texttt{clg round}$ 中获得大于 300 pts为事件 $A$。以此类推，其余三种事件分别为 $B$，$C$，$D$，不难求出期望时长为：

$$\displaystyle E(X)=\frac{1}{4}\times 3+\frac{1}{4}\times 2+\frac{1}{4}\times 1+\frac{1}{4}\times 0.5=\frac{13}{8}=1.625$$

所以 tsqtsqtsq 陪狗狗 Emissary 打 slay 的期望时长为 $1.625$ 小时，即 $97.5$ 分钟。

大数定律表明，随着重复次数接近无穷大，数值的算术平均值几乎肯定地收敛于期望值，即令第 $i$ 次 $\texttt{clg round}$ 后 tsqtsqtsq 陪狗狗 Emissary 打 slay 的时长为 $f_i$，总共有 $x$ 次 $\texttt{clg round}$，则有：

$$\lim_{x\rightarrow\infty}\frac{\displaystyle\sum_{i=1}^{x}f_i}{x}=E(X)$$

所以在打了不知道多少场 $\texttt{clg round}$ 之后 tsqtsqtsq 陪狗狗 Emissary 打 slay 的时长肯定会趋近于这个期望时长。

定义

如果一个随机变量的取值个数有限（比如一个表示骰子示数的随机变量），或可能的取值可以一一列举出来（比如取值范围为全体正整数），则它称为 离散型随机变量 。

形式化地说，一个随机变量被称为离散型随机变量，当它的值域大小 有限 或者为 可列无穷大 。

一个离散性随机变量 $X$ 的 数学期望 是其每个取值乘以该取值对应概率的总和，记为 $E(X)$。

$$E(X) = \sum_{\alpha \in I(X)} \alpha \cdot P(X = \alpha) = \sum_{\omega \in S} X(\omega) \cdot Y(\omega)$$

其中 $I(X)$ 表示随机变量 $X$ 的值域，$S$ 表示 $X$ 所在概率空间的样本集合。

性质

• 全期望公式： $\displaystyle E(Y)=\sum_{\alpha\in I(X)}P(X=\alpha)\cdot E(Y\mid(X=\alpha))$，其中 $X,Y$ 是随机变量，$E(Y\mid A)$ 是在 $A$ 条件成立下 $Y$ 的期望（即“条件期望”）。可由全概率公式证明。
• 期望的线性性 ：对于任意两个随机变量 $X$，$Y$ （不要求相互独立），有 $E(\lambda X+\mu Y) = \lambda E(X) + \mu E(Y)$ 。利用这个性质，可以将一个变量拆分成若干个互相独立的变量，分别求这些变量的期望值，最后相加得到所求变量的值。
• 乘积的期望 : 当两个随机变量 $X$，$Y$ 相互独立时，有 $E(XY) = E(X) \cdot E(Y)$ 。

期望与概率的转化

对于随机事件 $A$，考虑其示性函数 $I_A$：

$$I_A(\omega) = \begin{cases} 1, & \omega \in A \\ 0, & \omega \notin A \end{cases}$$

根据定义可以求得其期望 $EI_A = P(A)$。这一转化在实际应用中非常常见。

条件分布与条件期望

我们之前研究过条件概率，类似的也可以提出所谓条件期望的概念。

定义

对于两个随机变量 $X$,$Y$，在已知 $Y = y$ 的条件下 $X$ 的概率分布（密度函数）称之为 条件概率分布（条件概率密度），分别记作

$$P( X = x_i | Y = y ) \qquad f_{X|Y}(x|y)$$

在此条件下，$X$ 的期望称为 条件期望，记作 $E[X|Y=y]$。

条件期望的性质

条件期望的诸多性质可由条件概率推知，在此不做赘述。

值得一提的是 $E[X | Y]$ 一般是随机变量 $Y$ 的函数，且这个函数通常不是线性的。但实际上有

$$E[E[X|Y]] = EX$$

上式称作 全期望公式。

常用的套路以及技巧

$$\sum_{i=0}^nx^i=\frac{1=x^{n+1}}{1-x}$$

当 $n \rightarrow \infty$ 时：

$$\sum_{i=0}^{\infty}x^i=\frac{1}{1-x}$$

前缀和技巧

对于离散变量， $P(X = K) = P(X \leq K ) - P(x \leq k - 1)$。

例 1

有 $n$ 个随机变量 $X_{1,\dots,n}$，每个随机变量都是从 $\lbrack 1,S \rbrack$ 中随机一个整数，求 $\max(X_{1,\dots,n})$ 的期望。

$$\begin{aligned} E(\max) &= \sum_{i = 1}^S P(\max = i) \cdot i\\ &= \sum_{i=1}^S (P(\max \leq i) - P(\max \leq i - 1)) - 1\\ &= \sum_{i=1}^S \Big(\frac{i^n}{S^n} - \frac{(i-1)^n}{S^n} \Big) \cdot i \end{aligned}$$

例 2

概率为 $p$ 的事件期望 $\displaystyle\frac{1}{p}$ 次之后发生。

$$\begin{aligned} E(X) &= \sum_i P(X = i) i \\ &= \sum_{i} P(X \ge i) - P(X \ge i + 1) \cdot i\\ &= \sum_{i} ((1 - p)^{i-1} - (1 - p) ^i) \cdots i \\ &= [(1 - p)^0 - (1-p)] + [(1-p)-(1-p)^2] + \dots \\ &= \sum_{i = 0} ^{\infty}(1-p)^i = \frac{1}{1-(1-p)} = \frac{1}{p} \end{aligned}$$

拿球问题

例 1

箱子里有 $i$ 个球 $1 \dots n$，你要从里面拿 $m$ 次球，拿了后不放回，求取出的数字之和的期望。

解：

$$\sum_{i=1}^n P(i) \times i = \sum_{i = 1}^n\frac{m}{n} \times i= \frac{m}{n} \times \frac{n\times (n+1)}{2} = \frac{m \times (n + 1)}{2}$$

例 2

箱子里有 $i$ 个球 $1 \dots n$，你要从里面拿 $m$ 次球，拿了后放回，求取出的数字之和的期望。

解

放不放回概率是一样的，所以：

$$ans = \frac{m\times (n + 1)}{2}$$

例 3

箱子里有 $n$ 个球 $1 \dots n$，你要从里边拿 $m$ 次球，拿了之后有 $\displaystyle\frac{1}{p_1}$ 的概率放回，求取出的球上数字和的期望。

解：

从拿了第一个球和第二个球来看，如果题目中没有要求有概率放回，如果是典例 $1$ 的那种情况，第一次取得时候每一个球被取中的概率为 $\displaystyle\frac{1}{n}$，第二次取得时候每个球被取中的概率为 $\displaystyle\frac{1}{n-1}$。

如果加上限制，分别看两种情况。

看拿了第一个球之后，放回的概率就是 $\displaystyle\frac{1}{p_1}$，这个时候再拿第二个球每个球被取中的概率为 $\displaystyle\frac{1}{p_1}\times\frac{1}{n}=\frac{1}{P_1n}$。

我们把不放回的概率设为 $\displaystyle \frac{p_1-1}{p_1}$，如果不放回，取到每一个球的概率就是 $\displaystyle\frac{n-1}{n}\times\frac{1}{n-1}$，前后乘起来就是：$\displaystyle\frac{p_1-1}{p_1n}$。

两种情况算期望的时候为 $P_1 \times i + P_2 \times i$，会发现合并起来就是 $\displaystyle\frac{1}{n} \times i$ ，和上边的一样，所以选 $m$ 次的概率，选中 $i$ 的概率还是 $\displaystyle\frac{m}{n}$。

$$ans = \frac{m \times {n + 1}}{2}$$

游走问题

例 1

在一条 $n$ 个点的链上游走，求从一端走到另一端的概率。
解：

用 $X_i$ 表示 $i$ 走到 $i + 1$ 期望走多少步。

$$\begin{aligned} E(n) &= \sum_{i = 1}^n E(X_i) \\ E(X_i) &= \frac{1}{2} + \frac{1}{2} \times \Big(1 + E(X_{i - 1}) +E(X_i)\Big) \\ E(X_i) &= \frac{1}{2} + \frac{1}{2} + \frac{1}{2} \times E(X_{i - 1}) + \frac{1}{2} \times E(X_i) \\ E(X_i) &= E(X_{i - 1}) + 2 \\ E(n) &= 1 + 3 + 5 + \dots + 2 \times n - 3 = (n - 1) ^ 3 \end{aligned}$$

例 2

在一个 $n$ 个点的完全图上游走，求期望走多少步才能走到另一个点。
解：

每个点到其他点的概率都是 $\displaystyle\frac{1}{n - 1}$，所以期望就是 $n - 1$ 次成功。

例 3

在一张 $2 \times n$ 个点的完全二分图上游走，求从一个点走到另一个点的概率。
解：

左边等价，右边等价。

• 两点在同侧：$\displaystyle\frac{1}{n} + \frac{n - 1}{n} \times (2 + A)$。
• 两点在异侧：$1 + A$。

例 4

在一张 $n$ 个点的菊花图上游走，求一个点走到另一个点的概率。

解：

• A.根到叶：$\displaystyle\frac{1}{n - 1} + \frac{n - 2}{n - 1} \times (2 + A)$。
• B.叶到根：$1$。
• C.叶到叶：$A + 1$。

例 5

在一棵 $n$ 个点的树上游走，求从根节点走到 $x$ 的期望步数。

解：

$X_i$ 表示从 i 点游走，走到 $father_i$ 的期望步数，$d_i$ 为 $i$ 的入度。

$$f_x = \frac{1}{d_x} + \frac{1}{d_x} \times \sum_{i = 1}^{d_x} (1 + f_{son_x} + f_x)$$

经典问题

例 1

每次随机取一个 $[1,n]$ 的整数，问期望多少次能够凑齐所有的数。
解： 考虑每次取得时候取中以前没取过的数的概率，显然是 $\displaystyle\sum_{i=1}^n\frac{n-i}{n}$。

上边那个东西也等于 $\displaystyle\sum_{i=1}\frac{i}{n}$，期望就是 $\displaystyle\sum_{i=1}\frac{n}{i}$ 。

例 2

随机一个长度为 $n$ 的排列 $p$，求 $P_1.\dots, P_i$ 中的最大值为 $P_i$ 的概率。

解：
$\displaystyle \sum_{i = 1}^n \frac{1}{n}$。
每个前缀中，最大值都有 $i$ 个位置可以选，所以是 $\displaystyle\frac{1}{i}$。

例 3

随机一个长度为 $n$ 的排列 $p$，求 $i$ 在 $j$ 后边的概率。

解：
$\displaystyle\frac{1}{2}$，挺显然的。

例 4

随机一个长度为 $n$ 的排列 $p$，求它包含 $w_{i}, i \in [1,m]$ 为子序列 / 子串的概率。

• 子序列，$\left(\begin{array}{c}n\\m\end{array}\right)\displaystyle\times\frac{(n - m)!}{n!}=\frac{1}{m!}$，把他想想象成很多方块，每个方块都能放一个数，因为是子序列，就从里边选 $m$ 个块，放这个子序列，剩下的可以随便放，挺显然的。
• 子串，$\displaystyle (n - m + 1) \times \frac{(n - m)!}{n!} = \frac{(n - m + 1)!}{n!}$，考虑剩下的 $n-m$ 个数都放好了，有 $\displaystyle\frac{(n - m)!}{n!}$ 种方案，然后从 $n - m + 1$ 个空中任选一个插入长度为 $m$ 的子串，就是上边那个式子。