概率与期望

概率与期望

1.事件

i.实验，结果与结局

事件 A 是否发生取决于一系列影响它的因素，这些因素影响 A 的 过程称为一次 实验(experiment) 或 试验(trial)。

一次试验的 结果(result) 称为它的 结局(outcome)

• result 指由原因所引起的结果

• outcome 强调事件特有的结局，表示最终的结果。

在通常情况下，我们不能在试验结束前提前预知它的结果，我们只能列出有可能出现的结果。

ii.样本空间

一次试验所有可能产生的结果的集合称为 样本空间(sample space)，记作 \(\Omega\)。

事件本质是集合，也就是样本空间的一个子集。

若 $A= \varnothing $，则称 \(A\) 为不可能事件。

若 \(A=\Omega\)，则称 \(A\) 为必然事件。

同样可以用集合语言描述其他事件：

• \(A \cup B\)：\(A,B\) 至少有一个发生。
• \(A\cap B\)：\(A,B\) 同时发生。
• \(\overline{A}\)：\(A\) 不发生。
• \(A \setminus B\)： \(A\) 发生，\(B\) 不发生。

2.概率

i.定义

在同一条件下，我们进行多次完全相同的试验。

设进行了 \(N\) 次试验，\(N(A)\) 表示 \(A\) 发生的次数，\(P(A)\) 为 \(A\) 发生的概率，则：

\[P(A) = \lim_{N \to \infty} \dfrac{N(A)}{N} \]

可以发现，\(P(A)\) 是个介于 \([0,1]\) 之间的实数。

若 \(A=\varnothing\)，则 \(P(A)=0\)，但当 \(P(A)=0\) 时，\(A\) 却不一定为 \(\varnothing\)。

例如，设事件 \(A\) 为在数轴上随机选择一个点，且这个点是 \(0\)，那么 \(P(A)=0\)，但 \(A\) 是确实有可能发生的。

ii.互斥（不相容）

若 \(A\cap B=\varnothing\)，则称 \(A,B\) 互斥（不相容），或 \(A,B\) 是两个 互斥（不相容）事件。

若有 \(A,B\) 互斥，则有 \(N(A)+N(B)=N(A \cup B)\)，即 \(P(A)+P(B)=P(A \cup B)\)。

若 \(A_1,A_2,A_3,\dots,A_n\) 两两互斥，且 \(\bigcup\limits_{i=1}^n A_i = \Omega\)，则称它们为 \(\Omega\) 的一个 划分。

iii.有穷可加性

若 \(A_1,A_2,A_3,\dots,A_n\) 两两互斥（并不要求是一个划分），则有

\[P(\bigcup_{i=1}^n A_i) = \sum_{i=1}^n P(A_i) \]

iv.概率的容斥

概率同样满足容斥原理：

\[P(A \cup B) = P(A)+P(B)-P(A\cap B) \]

推广到一般情况：

\[P(\bigcup_{i=1}^nA_i)=\sum_{J\subseteq\{1,2,\dots,n\}} (-1)^{\left| J\right|+1} P(\bigcap_{j\in J}A_j) \]

3.条件概率

i.定义

我们重复进行 \(N\) 次完全相同的试验，只关注 \(A,B\) 是否发生。

我们只考虑 \(B\) 发生了的试验，则 \(A\) 发生的次数占比为：

\[\dfrac{N(A\cap B)}{N(B)} \]

若 \(P(B) \neq 0\)，则称在 \(B\) 已经发生这一条件下，\(A\) 发生的条件概率为：

\[P(A|B) = \dfrac{P(A \cap B)}{P(B)} \]

对于两个事件 \(A,B\)，其中 \(P(A)\neq 0,P(B) \neq 0\)，有

\[P(A|B)P(B) =P(B|A)P(A)=P(A\cap B) \Leftrightarrow P(A|B)=\dfrac{P(B|A)P(A)}{P(B)} \]

ii.全概率公式

若 \(A_1,A_2,A_3,\dots,A_n\)为 \(\Omega\) 的一个划分，则有：

\[P(B) = \sum_{i=1}^n P(B|A_i) P(A_i) \]

• 证明：由于 \(B=\bigcup\limits_{i=1}^n(B\cap A_i)\)，且对于 \(\forall i,j \ i \neq j,(B\cap A_i)\cap(B\cap A_j)=\varnothing\)，根据概率的有穷可加性可得原式，命题成立。

iii.贝叶斯公式

若 \(A_1,A_2,A_3,\dots,A_n\)为 \(\Omega\) 的一个划分，则有：

\[P(A_i|B) =\dfrac{P(B|A_i)P(A_i)}{P(B)} =\dfrac{P(B|A_i)P(A_i)}{\sum_{j=1}^n P(B|A_j)P(A_j)} \]

全概率公式是把 \(B\) 划分为若干个两两互斥的子事件，而贝叶斯公式则是利用 \(B\) 这一个大事件计算 \(A_i|B\) 这一个子事件。

4.独立性

i.定义

对于两个事件 \(A,B\)，若 \(A\) 发生后对 \(B\) 发生的概率没有影响，则称 \(A,B\) 是 独立的，或 \(A,B\) 为两个 独立事件。

更形式化地，若 \(P(B|A)=P(B)\)，则 \(A,B\) 是独立的。

ii.性质

若 \(A,B\) 独立，当且仅当

\[P(A)P(B)=P(A\cap B) \]

iii.独立与互斥

请注意，独立与互斥并不等价。

例如，连续掷两枚骰子，\(A\) 事件表示第一次掷骰子掷出偶数，\(B\) 事件表示第二次掷骰子掷出奇数，那么 \(A,B\) 是独立事件，但不是互斥事件。

独立强调两个事件互不影响，而互斥强调两者交集为空。

iv.例子

• Lemma：设某次试验的样本空间为 \(\Omega={1,2,3,\dots,p}\)，其中 \(p\) 为质数，且对于任意的 \(A\subseteq \Omega\)，有 \(P(A)=\dfrac{|A|}{p}\)，则对于任意的两个独立事件 \(A,B\)，至少有一个是 \(\varnothing\) 或 \(\Omega\)。

• Proof：由独立事件的性质得，\(P(A)P(B)=P(A \cap B)\)。设 \(x=|A|,y=|B|,z=|A\cap B|\)，则有

  \[\dfrac{x}{p} \cdot \dfrac{y}{p} = \dfrac{z}{p} \Rightarrow xy=zp \]

  若 \(xy=0\)，则 \(A,B\) 中至少有一个为 \(\varnothing\)；

  若 \(xy>0\)，则 \(p \mid xy\)。由于 \(x,y \leq p\)，则 \(x,y\) 中至少有一个等于 \(p\)，即 \(A,B\) 中至少有一个为 \(\Omega\)。

5.例题

i.假阳性试验

• 某疾病在人群中的发病率是 \(10^{-5}\)，仪器检测患者时有 \(99\%\) 的概率结果为阳性，检测正常人时有 \(1\%\) 的概率结果为阳性，求某人检验为阳性时患此病的概率。

• Solution：设 \(Y\) 表示此人检测为阳性，\(H\) 表示此人健康，\(I\) 表示此人患病。根据贝叶斯公式：

  \[P(I|Y) = \dfrac{P(Y|I)P(I)}{P(Y|I)P(I)+P(Y|H)P(H)}=\dfrac{99\% \times 10^{-5}}{99\% \times 10^{-5}+(1-10^{-5})\times 1\%}=\dfrac{11}{11122}\approx 9.8\times 10^{-4} \]

• 由于发病率过低，即使检验为阳性，发病概率也极低。

ii.赌徒破产

• 有个赌徒想要攒钱购买售价 \(N\) 的捷豹汽车，他现在的存款共有 \(k\) 美元，且 \(0<k<N\)，他想通过和银行经理赌博的方式赢取剩下的钱。游戏规则是这样的，每次投掷一枚均匀的硬币，若正面朝上，银行经理付给他 \(1\) 美元，若反面朝上，他付给银行经理 \(1\) 美元，游戏重复进行，直到他能够买得起汽车或者输光了所有的钱为止，求此人最终破产的概率。

• Solution： 设 \(P_k\) 为此人初始存款为 \(k\) 时，最终破产的概率。不难得到：

  \[P_k=\begin{cases} 0 &(k=N) \\ 1 &(k=0) \\ \frac{1}{2}P_{k-1}+\frac{1}{2}P_{k+1} &otherwise \end{cases} \]

  第三个式子意为，考虑第一次游戏此人是输是赢。

  若此人获胜，相当于下一轮的初始存款变为 \(k+1\)；反之变为 \(k-1\)。

  将第三个式子变形，得到 \(2P_k=P_{k-1}+P_{k+1} \Rightarrow P_{k-1}-P_k = P_{k}-P_{k+1}\)。

  所以 \(P\) 为一个公差为 \(\dfrac{1}{n}\) 的等差数列，则有 \(P_k = n-\dfrac{k}{n}\)。

iii.蒙提霍尔问题（三门问题）

• 在一场真人秀中，参赛者面前有三扇关闭着的门，其中一扇的后面藏着一辆汽车，另外两扇门后面则各藏有一只山羊，选中后面有车的那扇门 就可以赢得该汽车。当参赛者选定了一扇门，但未去开启它的时候，事先知道情况的主持人会开启剩下两扇门中的一扇，露出藏着的一只山羊。主持人其后问参赛者要不要更换选择，选另一扇仍然关着的门。如果你是参赛者，你将如何选择？

• Solution 1：列举所有的情况：

  • 参赛者挑山羊一号，主持人挑山羊二号，更换赢得汽车；
  • 参赛者挑山羊二号，主持人挑山羊一号，更换赢得汽车；
  • 参赛者挑汽车，主持人挑任意一头山羊，更换结果失败；

  故更换后赢得汽车的概率为 \(\dfrac{2}{3}\)，应该更换。

• Solution 2：设 \(A,B,C\) 分别为汽车在 \(1,2,3\) 门后，\(b\) 表示主持人开启 \(2\) 门。假设参赛者选择 \(1\) 门，那么更换后获胜的概率为：

  \[P(C|b)=\dfrac{P(b|C)P(C)}{P(b)}=\dfrac{P(b|C)P(C)}{P(b|A)P(A)+P(b|B)P(B)+P(b|C)P(C)}=\dfrac{\frac{1}{3}}{\frac{1}{6}+0+\frac{1}{3}}=\dfrac{2}{3} \]

• 请注意，主持人打开一扇有山羊的门 与 主持人打开一扇门里面有山羊 不等价。

  前者相当于改变了样本空间，但后者并没有。

6.随机变量

i.定义

我们通常对一些试验的结果更感兴趣，而不是试验本身，正如赌徒们更关心游戏的输赢，而不是游戏本身的乐趣。

也就是说，我们希望把试验的结果用实数来表示。

我们把用实数表示试验结果的过程看成一种函数，其定义域为 \(\Omega\)， 值域为 \(\mathbb{R}\)，这样的函数被称为 随机变量。

随机变量是函数，我们可以直接用函数符号 \(X\) 表示一个随机变量， 而不必写成 \(X(\omega)\)，通常我们用大写字母 \(X,Y,Z\) 表示随机变量。

ii.例子

投掷一枚均匀的硬币两次，则

\[\Omega=\{00,01,10,11\} \]

对于 \(\omega \in \Omega\)，设 \(X(\omega)\) 为表示正面朝上的次数，则

\[X(00)=0,X(01)=X(10)=1,X(11)=2 \]

对于随机变量 \(X\)，其概率分布为

\[P(X=0)=\dfrac{1}{4},P(X=1)=\dfrac{1}{2},P(X=2)=\dfrac{1}{4} \]

7.数学期望

i.定义

对于一个随机变量 \(X\)，其数学期望为

\[E(X)=\sum_{x}x\cdot P(X=x) \]

在 6-ii 的例子中，\(E(X)=0\times \dfrac{1}{4}+1\times \dfrac{1}{2} + 2\times \dfrac{1}{4}=1\)；

设随机变量 \(Y\) 为随机掷一枚骰子掷出的点数，则 \(E(Y)=\dfrac{1}{6}\times (1+2+3+4+5+6)=3.5\)。

ii.数学期望的性质

• Theorem 1：对于随机变量 \(X\) 与函数 \(g\)，有

  \[E(g(X))=\sum_x g(x) \cdot P(X=x) \]

• Proof 1：利用数学期望的定义式变形：

  \[E(g(X))=\sum_y y\cdot \sum_{x:g(x)=y} P(X=x)=\sum_y \sum_{x:g(x)=y} y\cdot P(X=x) = \sum_xg(x)P(X=x) \]

  最后一步的变形：由枚举 \(g(x)\) 的取值变成枚举 \(x\) 并计算 \(x\) 的贡献。

• Theorem 2：数学期望是线性函数，即 \(E(aX+bY)=aE(X)+bE(Y)\)。

• Proof 2：

  \[\begin{aligned}E(aX+bY) &= \sum_x\sum_y (ax+by)P(X=x)P(Y=y) \\&= \sum_x\sum_y axP(X=x)P(Y=y) + byP(X=x)P(Y=y) \\ &= \sum_x\sum_y axP(X=x)P(Y=y) + \sum_x\sum_y byP(X=x)P(Y=y) \\&= [\sum_x axP(X=x)\sum_y P(Y=y)] + [\sum_y byP(Y=y)\sum_x P(X=x)] \\&= [a\sum_x xP(X=x)] + [b(\sum_y yP(Y=y))] \\ &= aE(X)+bE(Y)\end{aligned} \]