概率与期望

一、基本概念

1. 随机试验

具有以下特点的试验称为随机试验（通常用 \(E\) 表示）：

• 可以在相同条件下重复进行
• 可能出现的结果有多个且试验之前知道所有的结果
• 试验结束后出现哪种结果是随机的

说人话：就是在相同条件下对某随机现象进行的大量重复观测

例子

• \(E_1\)：抛一枚硬币，观察正、反面出现的情况

• \(E_2\)：投掷一个骰子，观察出现的点数

2. 事件

• 基本事件：一次试验中可能会发生多种结果，每个结果称为一个基本事件。
• 样本空间：基本事件的集合，一般记为 \(\Omega\)。
• 事件：样本空间的一个子集称为事件。
• 互斥事件：事件 \(A\) 与事件 \(B\) 不能同时发生，则称 \(A,B\) 为互斥事件。

3. 事件的运算

(1) 事件的和：

事件 \(A\) 与事件 \(B\) 至少有一个发生。这也是一个事件，称为事件 \(A\) 与事件 \(B\) 的和或并，记为 \(A \cap B\) 或者 \(A + B\)。

(2) 事件的积：

事件 \(A\) 与事件 \(B\) 同时发生，这样的事件称为事件 \(A\) 与事件 \(B\) 的积或交，记为 \(A \cup B\) 或 \(AB\)。

(3) 事件的差：

事件 \(A\) 发生而事件 \(A\) 不发生，这样的事件称为事件 \(A\) 与事件 \(B\) 的差，记为 \(A - B\)。

二、概率

1. 定义

统计定义：

在同样的条件下进行 \(n\) 次试验，如果事件 \(A\) 发生 \(m\) 次，则 \(A\) 发生的频率是 \(\frac n m\)。

随着 \(n\) 逐渐增大, 频率逐渐稳定在某一数值 \(p\) 附近, 那么数值 \(p\) 称为事件 \(A\) 发生的概率，记做 \(P(A) = p\)。

公理化定义：

概率是一个从样本空间中到实数集的映射 \(P\)，满足：

1. 对任意事件 \(A\),\(P(A) \geq 0\)
2. \(\sum_{A\in \Omega} P(A) = 1\)
3. 当事件 \(A,B\) 互斥时，\(P(A\cup B) = P(A) + P(B)\)

2. 概率的运算

(1) 广义加法公式

对任意两个事件 \(A, B\)，\(P(A \cup B) = P(A) + P(B) - P(A \cap B)\)

(2) 条件概率

记在事件 \(A\) 发生的条件下事件 \(B\) 发生的概率为条件概率，记作 \(P(B|A)\)。
有 \(P(B|A) = \frac {P(AB)}{P(A)}\)。
进而有乘法公式 \(P(AB) = P(B|A)P(A) = P(A|B)P(B)\)

(3) 贝叶斯公式

\(P(A|B) = \frac{P(B|A)P(A)}{P(B)}\)

可由乘法公式推导

(4) 全概率公式

若事件 \(A_1,A_2,\cdots,A_n\) 组成一组完备的事件且都有正概率

即 \(\forall i,j, A_i \cap A_j = \emptyset\) 且 \(\sum_{i=1}^n A_i = 1\)，则有 \(P(B) = \sum_{i=1}^n P(A_i)P(B|A_i)\)

这一公式将一个大事件的概率拆分为若干互相独立的小事件的概率来得到结果。

三、期望

1. 定义

(1) 随机变量

一个从样本空间 \(\Omega\) 到实数集的映射 \(X\)。例如对于事件 \(A\)，\(X(A) = a\) 表示当随机试验结果为 \(A\) 时，该随机变量的取值为 \(a\)。

如果一个随机变量的取值个数有限，或所有取值可以一一列举出来，则它称为离散型随机变量。定义一个离散性随机变量的期望值为：

\[E(X) = \sum_{\omega \in \Omega} X(\omega)P(\omega) \]

说人话：就是概率 \(\times\) 权值 = 期望

(2) 全期望公式

对于随机变量 \(X,Y\)

\[E(Y) = E(E(Y|X)) \]

说人话：局部平均的平均等于整体平均

例子

我们假设 \(E(Y)\) 为在一个年级里抽取一个同学的考试分数的期望
\(E(Y|X)\) 为在一个班级里抽取一个同学的考试分数的期望
显然每个班级抽取考试分数的期望去平均数就是年级的考试分数的期望，即 \(E(E(Y|X))\)

2. 期望的性质&结论

(1) 期望的线性性

对于随机变量 \(X,Y,E(X + Y) = E(X) + E(Y)\) 同时有 \(E(aX) = aE(X)\)

所以 \(E(aX + bY) = aE(X) + bE(Y)\)

(2) 方差的期望

\(D(x) = E(X^2) - E(X)^2\)

我们记 \(n = |\Omega|,X = \Omega\)，\(E(A)\) 为 \(A\) 事件的期望(平均值)

\[\begin{aligned} D(X) = & \frac 1 n \sum_{A\in\Omega} (X(A)-E(X))^2 & \text{方差公式}\\ = & \frac 1 n (\sum_{A\in\Omega} X(A)^2 + \sum_{A\in\Omega} E(X)^2 - 2E(X)\sum_{A\in \Omega}X(A)) & \text{展开}\\ = & (\frac 1 n \sum_{A\in\Omega} X(A)^2) + (\frac 1 n \sum_{A\in\Omega} E(X)^2)- (\frac 1 n \times 2E(X)\sum_{A\in \Omega}X(A))\\ = & E(X^2) + E(X)^2 - 2 E(X)^2\\ = & E(X^2) - E(X)^2 \end{aligned} \]