概率公理化

目录

• 概率空间
• 条件概率
  • 贝叶斯公式
• 事件独立
• 试验独立
• 习题

 

概率空间

随机试验的每一基本结果称为样本点，通常记作 \(\omega\) ；样本点的全体称为样本空间，通常记作 \(\Omega\) .

事件是样本点的集合，如果在一次试验中样本点 \(\omega\in A\) 出现，则称事件 \(A\)​ 发生；如果 \(A\) 与 \(B\) 不可能同时发生，即 \(A\cap B = \empty\) ，就称 \(A\) 与 \(B\) 互不相容；如果 \(A\) 与 \(B\) 不可能同时发生，并且 \(A\) 与 \(B\) 至少发生一个，就称 \(A\) 与 \(B\) 互为逆事件.

 

三元体 \((\Omega,\mathcal{F},P)\) 构成概率空间，其中

• 样本空间 \(\Omega\) ，是样本点 \(\omega\) 的全体

• 事件域 \(\mathcal{F}\) ，它是一个 \(\sigma\) 代数

  • \(\Omega\in\mathcal{F}\)
  • 若 \(A\in\mathcal{F}\) ，则 \(\overline{A}\in\mathcal{F}\)
  • 若 \(A_1,A_2,\cdots,A_n,\cdots\in\mathcal{F}\) ，则 \(\cup_{n=1}^{\infty}A_n\in\mathcal{F}\)

• 概率 \(P\) ，是定义在 \(\mathcal{F}\) 上的实值函数

  • 非负性： \(P(A)\ge 0\)
  • 规范性： \(P(\Omega) = 1\)
  • 可列可加性：若 \(A_1,A_2,\cdots,A_n\) 两两互不相容，则

\[P\left(\sum_{n=1}^{\infty}A_n\right) = \sum_{n=1}^{\infty}P\left(A_n\right) \]

 

性质 (有限可加性) 若 \(A_iA_j = \emptyset,\ i,j=1,2,\cdots,n,i\neq j\) ，则

\[P\left(\sum_{i=1}^{n}A_i\right) = \sum_{i=1}^{n}P\left(A_i\right) \]

\(Proof.\) 利用可列可加性证明

\[P\left(\sum_{i=1}^{n}A_i\right) = P\left(\sum_{i=1}^{n}A_i + \emptyset + \emptyset + \cdots\right) = \sum_{i=1}^{n}P\left(A_i\right) + P(\emptyset) + P(\emptyset) + \cdots = \sum_{i=1}^{n}P\left(A_i\right) \]

注意到这里用到了 \(P(\empty) = 0\) ，这也是通过类似的上述方法证明的.

 

由上面容易得到

• 若 \(B\subset A\) ，则 \(P(A) = P(B) + P(A-B)\)
• \(P(A) = P(A\backslash B) + P(AB)\)
• \(P(A\cup B) = P(A) + P(B) - P(AB)\) ，因为 \(A\cup B = A + A\backslash B\)

 

例 1.22 \(n\) 个士兵，每人一把枪，随机取枪，求至少一人拿到自己枪的概率.

我们设 \(A_i\) 为第 \(i\) 个人拿到第 \(i\) 支枪的概率，则应求 \(P(A_1\cup A_2\cup\cdots\cup A_n)\) ，只需分别计算

\[P(A_i),\ P(A_iA_j),\ \cdots,\ P(A_1A_2\cdots A_n) \]

然后利用它们的多还少补定理即证.

 

条件概率

用 \(P(A|B)\) 表示 \(B\) 发生时 \(A\) 发生的概率，它称为事件 \(A\) 关于事件 \(B\) 的条件概率.

 

定义 若 \(P(B)\neq 0\) ，则条件概率定义为

\[P(A|B) = \dfrac{P(AB)}{P(B)} \]

这意味着重要的分解 \(P(AB) = P(A|B)P(B) = P(B|A)P(A)\) .

 

贝叶斯公式

定义 若事件列 \(\{A_1,A_2,\cdots,A_n,\cdots\}\) 满足条件

• \(A_i,A_j\) 两两不相容，且 \(P(A_i)>0\)
• \(\sum_i^{\infty}A_i=\Omega\)

则称其为 \(\Omega\) 的一个完备事件组，也称为一个分割.

 

全概率公式 设 \(\{A_1,A_2,\cdots,A_n,\cdots\}\) 为完备事件组，则有

\[P(B) = \sum_{i=1}^nP(B|A_i)P(A_i) \]

通过可列可加性容易得证；它将 “全部” 概率 \(P(B)\) 分解为一些部分之和.

 

贝叶斯公式 设 \(\{A_1,A_2,\cdots,A_n,\cdots\}\) 为完备事件组，则有

\[P(A_i|B) = \dfrac{P(A_iB)}{P(B)} = \dfrac{P(B|A_i)P(A_i)}{\sum_{k=1}^nP(B|A_k)P(A_k)} \]

\(P(A_i)\) 是在不知 \(B\) 是否发生的情况下，人们对 \(A_i\) 发生可能性大小的认识，称为先验 priori 概率 ；当我们知道 \(B\) 发生，人们对 \(A_i\) 发生可能性大小的认识有了新的估计，得到条件概率 \(P(A_i|B)\) ，称为后验 posteriori 概率.

 

例 使用血清甲胎蛋白法诊断肝癌。用 \(C\) 表示被检测者确实患有肝癌的事件， \(A\) 表示判断被检测者患有肝癌的事件，已知

\[P(A|C) = 0.95,\quad P(\overline{A}|\overline{C}) = 0.90,\quad P(C) = 0.0004 \]

如果一个人用此法检测患有肝癌，则此人确实患有肝癌的概率.

我们需要求被检测患有肝癌的情况下确实患有肝癌的概率，即

\[P(C|A) = \dfrac{P(C)\cdot P(A|C)}{P(C)\cdot P(A|C) + P(\overline{C})\cdot P(A|\overline{C})} \]

容易得到

\[P(\overline{C}) = 1-P(C) = 0.9996,\quad P(A|\overline{C}) = 1 - P(\overline{A}|\overline{C}) = 0.10 \]

代入计算得到 \(P(C|A)=0.0038\) .

 

事件独立

若 \(P(AB) = P(A)P(B)\) 则称 \(A\) 与 \(B\) 独立；注意独立和不相容不同，如果 \(A\) 与 \(B\) 不相容，且 \(P(A)P(B)\neq 0\) ，则 \(A\) 与 \(B\) 不独立

\[P(AB) = 0 \neq P(A)P(B) \]

 

对于多个事件，若 \(A,\ B,\ C\) 满足

\[\left\{ \begin{aligned} &P(AB) = P(A)P(B)\\ &P(BC) = P(B)P(C)\\ &P(CA) = P(C)P(A) \end{aligned} \right. \]

并且

\[P(ABC) = P(A)P(B)P(C) \]

则称 \(A,\ B,\ C\) 相互独立.

 

例 1.41 （分支过程）种群个体独立繁衍，每个个体产生 \(k\) 个下一代的概率为\(p_k,\ k=0,1,\cdots\) ，记 \(m=\sum_{k=1}^{\infty}kp_k\) 。设开始第零代只有一个个体，若有 \(m\le 1,\ p_1<1\) ，则该生物灭绝的概率为 \(1\) .

\(Proof.\) 设 \(A\) 表示生物灭绝， \(B_k\) 表示第一代有 \(k\) 个个体，则有

\[q = P(A) = \sum_{k=0}^{\infty}P(A|B_k)P(B_k) \]

由于独立繁衍，每个第一代繁衍灭绝的概率仍为 \(q\) ，因此 \(P(A|B_k) = q^k\) ，从而

\[q = \sum_{k=0}^{\infty}q^k p_k \]

考虑函数 \(g(s) = \sum_{k=0}^{\infty}s^k p_k\) ，则 \(q\) 是 \(g(s)=s\) 的解，对导数进行分析，得到函数的性质即证.

 

试验独立

\(n\) 个试验 \(E_1,E_2,\cdots,E_n\) ，每个试验的结果都是一个事件。如果 \(E_i,E_j\) 的任一事件之间相互独立，则称 \(E_1,E_2,\cdots,E_n\) 相互独立.

记 \(E_i\) 的样本空间为 \(\Omega_i\) ，则构造复合试验 \(E=(E_1,E_2,\cdots,E_n)\) ，对应样本空间 \(\Omega=\Omega_1\times\cdots\times\Omega_n\) 是样本空间的直积.

我们将任一试验中的事件都放到复合样本空间中，就得到复合事件 \(\Omega_1\times\cdots\times A^{(i)}\times\cdots\times \Omega_n\) ，于是这些试验相互独立表示为

\[P(A^{(1)}\cdots A^{(n)}) = P(A^{(1)})\cdots P(A^{(n)}) \]

如果一次随机试验 \(E\) 只有 \(A\) 与 \(\overline{A}\) 两种相反的结果，这种随机试验称为伯努利试验； \(n\) 次重复独立的伯努利试验，这种概率模型称为伯努利概型.

 

习题

55. 每个蚕产 \(k\) 个卵的概率为 \(\lambda^ke^{-\lambda}/k!,\ \lambda>0\) ，而每个卵变成成虫的概率为 \(p\) ，各卵是否变成成虫相互独立，则每蚕养出 \(r\) 个小蚕的概率

\[\begin{aligned} P &= \sum_{k=r}^{\infty}\dfrac{\lambda^ke^{-\lambda}}{k!} \cdot \left( \begin{matrix} k\\ r \end{matrix} \right)p^r(1-p)^{k-r} \\ &= \sum_{k=r}^{\infty}\dfrac{\lambda^ke^{-\lambda}}{r!(k-r)!}p^r(1-p)^{k-r}\\ &= \sum_{n=0}^{\infty}\dfrac{\lambda^{n+r}e^{-\lambda}}{r!n!}p^r(1-p)^{n}\\ &= \dfrac{(\lambda p)^re^{-\lambda}}{r!}\sum_{n=0}^{\infty}\dfrac{(\lambda-\lambda p)^{n}}{n!}\\ &= \dfrac{(\lambda p)^re^{-\lambda}}{r!}e^{\lambda-\lambda p}\\ &= \dfrac{(\lambda p)^r}{r!}e^{-\lambda p} \end{aligned} \]

注意利用 \(e^x\) 的幂级数展开式.

 

56. 单位时间间隔内收到 \(k\) 条短信的概率为 \(\lambda^ke^{-\lambda}/k!,\ \lambda>0\) ，若任意两个相邻间隔收到短信次数相互独立，则在两个单位时间间隔收到 \(s\) 条短信的概率

\[\begin{aligned} P &= \sum_{k=0}^s \left( \begin{matrix} s\\ k \end{matrix} \right)\dfrac{\lambda^ke^{-\lambda}}{k!}\dfrac{\lambda^{s-k}e^{-\lambda}}{(s-k)!}\\ &= \dfrac{\lambda^se^{-2\lambda}}{s!}\sum_{k=0}^s\left( \begin{matrix} s\\ k \end{matrix} \right)^2\\ &= \dfrac{\lambda^se^{-2\lambda}}{s!}\sum_{k=0}^s\left( \begin{matrix} s\\ k \end{matrix} \right)\left( \begin{matrix} s\\ s-k \end{matrix} \right)\\ &= \dfrac{\lambda^se^{-2\lambda}}{s!}(1+1)^s = \dfrac{(2\lambda)^se^{-2\lambda}}{s!} \end{aligned} \]

利用组合数的性质.