《概率入门》 1.6 条件概率(Conditional probability)和独立性(independence)

当我们知道某个事件 B ⊂ Ω 发生时，概率会如何变化？假设B发生了。因此，我们知道结果是 B。当且仅当 A ∩ B 发生时，A 才会发生，因此 A 发生的相对机会为

P(A∩B)/P(B)。

这得出了既定 B 时 A 的条件概率的定义：

$\mathbb{P}(A \mid B) = \frac{\mathbb{P}(A \cap B)}{\mathbb{P}(B)}$(1.4)

示例 1.10 我们掷两个骰子。已知点数之和为10 ，其中一个点数是 6 的概率是多少？

B 为点数之和为 10 的事件，
  B = {(4,6), (5,5), (6,4)}

A 为一个投掷为 6 的事件，
  A = {(1,6), … , (5,6), (6,1), … ,(6,5)}

那么，A ∩ B = {(4, 6), (6, 4)}。并且，因为所有基本事件可能性想等，我们得出

\[\mathbb{P}(A \mid B) = \frac{2 / 36}{3/36} = \frac{2}{3} \]

示例1.11（蒙特霍尔问题 Monte Hall Problem）这是条件概率的一个经典应用。考虑一场试炼，其中最终参赛者要选择隐藏在三个窗帘（A、B 或 C）后面的奖品。一般性假设参赛者选择幕布 A。现在试炼大师（蒙特·霍尔）总是打开其他幕布之一：如果奖品在 B 后面，蒙特打开 C，如果奖品在 C 后面，蒙特打开 B，如果奖品在 A 后面，蒙特以相同的概率打开 B 或 C，例如，通过抛硬币（当然，参赛者看不到蒙特抛硬币！）

再次一般性假设蒙特打开了幕布 B。现在为参赛者提供了切换到幕布 C 的机会。参赛者应该保持他/她原来的选择 (A) 还是切换到另一个未打开的幕布 (C)？

请注意，这里的样本空间由 4 种可能的结果组成： Ac：奖品在 A 后面，Monte 打开 C； Ab：奖品在A后面，蒙特打开B； Bc：奖品在B后面，蒙特打开C； Cb：奖品在C后面，蒙特打开B。设A、B、C分别为奖品在A、B、C后面的事件。请注意，A = {Ac,Ab}、B = {Bc} 且 C = {Cb}，见图 1.14。

图 1.14 孟特霍尔问题的样本空间

现在，显然 P(A) = P(B) = P(C)，并且由于 Ac 和 Ab 的可能性相同，因此我们有 P({Ab}) = P({Ac}) = 1/6。 Monte 打开窗帘 B 意味着我们知道事件 {Ab,Cb} 已经发生。因此，在既定事件的情况下，奖品低于 A 的概率为 $$ \begin{equation} \mathbb{P}(A \mid B \text{已打开}) = \frac{\mathbb{P}(\{Ac, Ab\} \cap \{Ab, Cb\})}{\mathbb{P}(\{Ab, Cb\})} = \frac{\mathbb{P}(\{Ab\})}{\mathbb{P}(\{Ab, Cb\})} = \frac{\frac{1}{6}}{\frac{1}{6} + \frac{1}{3}} = \frac{1}{3}. \end{equation} $$

这正是我们所期望的：蒙特拉开窗帘这一事实并没有给我们任何额外的信息表明奖品在 A 后面。所以人们可能会认为切换与否并不重要。但等一下！那么 P(B | B 已打开)呢？显然这是 0——打开窗帘 B 意味着我们知道事件 B 不会发生。由此可见，P(C | B 已开) 必须为 2/3，因为条件概率的行为与任何其他概率类似，并且必须满足公理 2（总和为 1）。的确，

\[\begin{equation} \mathbb{P}(C \mid B \text{已打开}) = \frac{\mathbb{P}(\{Cb\} \cap \{Ab, Cb\})}{\mathbb{P}(\{Ab, Cb\})} = \frac{\mathbb{P}(\{Cb\})}{\mathbb{P}(\{Ab, Cb\})} = \frac{\frac{1}{3}}{\frac{1}{6} + \frac{1}{3}} = \frac{2}{3}. \end{equation} \]

因此，鉴于 B 被打开的信息，奖品位于 C 下的可能性是 A 下的两倍。因此，参赛者应该切换！

1.6.1 乘积法则(Product Rule)

根据条件概率的定义我们得出

$\mathbb{P}(A \cap B) = \mathbb{P}(A)\mathbb{P}(B|A)$ (1.5)

我们可以将其推广到 n 个交集 \(A_1\cap A_2 \cap \cdots \cap A_n\)，我们将其缩写为\(A_1A_2 \cdots A_n\)。这给出了概率的乘积法则（也称为链式法则 chain rule）。

定理 1.3（乘积法则） \(A_1A_2 \cdots A_n\) 是 \(\mathbb{P}(A_1\cdots A_{n-1}) > 0\) 的事件序列。那么，

$\mathbb{P}(A_1 \cdots A_n) = \mathbb{P}(A_1) \mathbb{P}(A_2 \mid A_1) \mathbb{P}(A_3 \mid A_1 A_2) \cdots \mathbb{P}(A_n \mid A_1 \cdots A_{n-1})$ (1.6)

证明:我们只展示 3 个事件的证明，因为 n > 3 事件情况的情况类似。将 (1.4) 的 P(B | A) 和 P(C | A ∩ B) 应用于(1.6) 的左侧我们得到 $$ \mathbb{P}(A) \mathbb{P}(B \mid A) \mathbb{P}(C \mid A \cap B) = \mathbb{P}(A) \frac{\mathbb{P}(A \cap B)}{\mathbb{P}(A)} \frac{\mathbb{P}(A \cap B \cap C)}{\mathbb{P}(A \cap B)} = \mathbb{P}(A \cap B \cap C) $$

示例 1.12 我们从一个有 5 个白球和 5 个黑球的碗中连续抽取 3 个球，而不将它们放回。所有球都是黑球的概率是多少？
解答： \(A_i\)是第 i 个球为黑色的事件，我们希望获得 \(A_1A_2A_3\) 的概率，通过乘积法则(1.6)得出

\[\mathbb{P}(A_1) \mathbb{P}(A_2 \mid A_1) \mathbb{P}(A_3 \mid A_1 A_2) = \frac{5}{10} \frac{4}{9} \frac{3}{8} = 0.083. \]

请注意，这个问题也可以通过计算参数来轻松解决，如上一节所示。

示例 1.13（生日问题 Birthday Problem） 在 1.5 节中，我们通过计算参数得出了 40 人的小组中所有人生日不同的概率是

$\frac{365 \times 364 \times \cdots \times 326}{365 \times 365 \times \cdots \times 365} \approx 0.109$ (1.7)

我们也可以通过乘积法则得出这一点。即设 \(A_i\) 为前 i 个人生日不同的事件，i = 1, 2, … 。注意 $A_1 \supset A_2 \supset A_3 \supset \cdots $。因此 \(A_n = A_a \cap A_2 \cap \cdots \cap A_n\)，从而由乘积法则得出

\[\mathbb{P}(A_{40}) = \mathbb{P}(A_1) \mathbb{P}(A_2 \mid A_1) \mathbb{P}(A_3 \mid A_2) \cdots \mathbb{P}(A_{40} \mid A_{39}). \]

现在 \(\mathbb{P}(A_k|A_{k-1}) = (365 - k + 1)/365\) 因为考虑到前 k − 1 个人有不同的生日，当且仅当第 k 个的生日从剩下的 365 − (k − 1) 个生日中选择时才不会出现重复生日。因此，我们得到 (1.7) 。更通常来说，n 个随机选择的人具有不同生日的概率为

\[\mathbb{P}(A_n) = \frac{365}{365} \times \frac{364}{365} \times \frac{363}{365} \times \cdots \times \frac{365 - n + 1}{365}, \quad n \geq 1 \]

图 1.15 给出了 \(\mathbb{P}(A_n)\) 与 n 的关系图。请注意，概率 \(\mathbb{P}(A_n)\) 迅速降至零。事实上，对于 n = 23，没有重复生日的概率已经小于 1/2。

图 1.15：n 个人的组中没有重复生日的概率。

1.6.2 全概率法则(Law of Total Probability)和贝叶斯定理(Bayes’ Rule)

假设 \(B_1,B_2, \cdots ,B_n\) 是 Ω 的分区 (partition)。那么，\(B_1,B_2, \cdots ,B_n\) 不相交且他们的并集是Ω，如图1.16

图 1.16 样本空间的分区

根据求和规则(sum rule)，\(\mathbb{P}(A) = \sum_{i=1}^{n} \mathbb{P}(A \cap B_i) \) 以及条件概率的定义，我们可以得出

\[\mathbb{P}(A) = \sum_{i=1}^{n} \mathbb{P}(A|B_i) \mathbb{P}(B_i) \]

这就是全概率法则(Law of totle probability)。

结合全概率法则和条件概率定义可以得出贝叶斯定理(Bayes’ Rule)：

\[\mathbb{P}(B_j|A) = \frac{\mathbb{P}(A|B_j) \mathbb{P}(B_j)}{\sum_{i=1}^{n} \mathbb{P}(A|B_i) \mathbb{P}(B_i)} \]

示例1.14 某公司拥有三个工厂（1、2 和3）生产相同的芯片，每个工厂的产量分别占总产量的15%、35% 和50%。 1、2、3 工厂生产有缺陷芯片的概率分别为 0.01、0.05、0.02。假设有人向我们展示了一个有缺陷的芯片。该芯片来自 1 号工厂的概率是多少？

令 \(B_i\) 表示该芯片由 i 工厂生产的事件。\(\{ B_\rangle \}\) 表示 Ω 的分区(portation)。A表示芯片有缺陷的事件。根据贝叶斯定理，

\[\mathbb{P}(B_1|A) = \frac{0.15 \times 0.01}{0.15 \times 0.01 + 0.35 \times 0.05 + 0.5 \times 0.02} = 0.052 \]

1.6.3 独立性(Independence)

独立性是概率论(prpbability)和统计学(statistics)中一个非常重要的概念。宽松地说，它模拟了事件之间信息的缺乏。如果已知 A 的发生不会改变 B 发生的概率，我们就说 A 和 B 是独立的。那么

\[A, B \text{ 独立} \iff \mathbb{P}(A | B) = \mathbb{P}(A) \]

由于 \(\mathbb{P}(A|B) = \mathbb{P}(A\cap B) / \mathbb{P}(B)\) ，独立性的另一个定义是

\[A, B \text{ 独立} \iff \mathbb{P}(A \cap B) = \mathbb{P}(A) \mathbb{P}(B) \]

该定义涵盖了 B = ∅（空集）的情况。我们可以将定义扩展到任意多个事件：

定义 1.3 对于任何 n 个相互独立的事件 $A_1, A_2, \cdots $ 以及所选的任何不同索引\(i_1,\cdots ,i_k\)，

\[\mathbb{P}(A_{i_1} \cap A_{i_2} \cdots A_{i_k} = \mathbb{P}(A_{i_1})\mathbb{P}(A_{i_2}) \cdots \mathbb{P}(A_{i_k}) \]

备注 1.1 在大多数情况下，事件独立性是一个模型假设。也就是说，我们假设存在一个 P，使得某些事件是独立的。

示例 1.15（抛硬币实验和二项式定理 Binomial Law） 我们抛硬币 n 次。我们可以将样本空间写成二进制 n 元组的集合：

Ω = {(0,...,0),...,(1,...,1)}

这里 0 代表反面，1 代表正面。例如，结果（0, 1, 0, 1, ...）表示第一次掷出反面，第二次掷出正面，第三次掷出反面，第四次掷出正面，等等。

我们应该如何定义P？令 \(A_i\) 表示第 i 次投掷期间正面朝上的事件，i = 1,...,n。那么，P 应该表示事件 \(A_1\),...,\(A_n\) 是独立的。而且，P(\(A_i\)) 对于所有 i 应该是相同的。我们不知道这枚硬币是否公平，但我们可以称这个概率为 p (0 ≤ p ≤ 1)。

这两条规则完全指定了 P。例如，前 k 次投掷为正面，最后 n − k 次为反面的概率为

\[\mathbb{P}(\{(1, 1, \ldots, 1, 0, 0, \ldots, 0)\}) = \mathbb{P}(A_1) \cdots \mathbb{P}(A_k) \cdots \mathbb{P}(A_{k+1}^c) \cdots \mathbb{P}(A_n^c) = p^k (1-p)^{n-k} \]

另外，令 \(B_k\) 为总共有 k 个正面的事件。该事件的概率是基本事件 {(\(x_1\),...,\(x_n\))} 之和为 k 的概率，即 \(x_1\) + · · · + \(x_n\) = k。这些事件中的每一个都有概率 \(p^k(1-p)^{n-k}\)，并且有 \(\binom{n}{k}\) 个。因此，

\[\mathbb{P}(B_k) = \binom{n}{k} p^k (1-p)^{n-k}, \quad k = 0, 1, \ldots, n \]

这样我们就发现了二项式分布(binomial distribution)

示例 1.16（几何定律 Geometric Law） 还有另一个与硬币翻转实验相关的重要定律。假设我们抛硬币直到第一次出现正面。令 \(C_k\) 为第 k 次抛掷时第一次出现正面的事件，k = 1,2,.... 然后，使用与上一个示例中相同的事件 {\(A_i\)}，我们可以写出

\[C_k = A_1^c \cap A_2^c \cap \cdots A_{k-1}^c \cap A_k \]

因此，根据乘积法则和 的相互独立性， 我们得出几何定律：

\[\mathbb{P}(C_k) = \mathbb{P}(A_1^c) \cdots \mathbb{P}(A_{k-1}^c) \mathbb{P}(A_k) = (1-p) \cdots (1-p)p = (1-p)^{k-1} p \]