条件期望：Conditional Expectation 举例详解之入门之入门之草履虫都说听懂了

我知道有很多人理解不了 “条件期望” (Conditional Expectation) 这个东西，有的时候没看清把随机变量看成事件，把 $\sigma$-algebra 看成随机变量从而思路全错的时候，我也会觉得莫名奇妙。所以在这里用一个极其简单的例子解释一下，只要你是一只上过高中的草履虫那就能听懂。

我们来丢一枚质地均匀的硬币（意味着得到正面与反面的概率各为 $\frac{1}{2}$），连丢两次并记录两次结果。那么很容易可以写出全集 $\Omega = \left\{ HH, HT, TH, TT \right\}$ ，$H$ 和 $T$ 分别代表正面和反面。现在是第一个需要稍加思考的地方，令 $\mathcal{G}$ 为一个 $\sigma$-algebra，其中包括了第一次丢硬币结果的信息，请问 $\mathcal{G}$ 是什么？

---

稍加思考，不难得出 $\mathcal{G} = \left\{\Omega, ~ \emptyset, ~ \left\{ HH, HT \right\}, ~ \left\{ TT, TH \right\} \right\}$，这里也做出一个解释。首先要明确的是，$\Omega$ 中的元素 (例如 $HH$) 和 $\mathcal{G}$ 中的元素 (例如 $\left\{ HH, HT \right\}$) 之间的区别：前者是结果 (outcome)，后者是事件 (event)。我们对于一次 “抽样”，只能得到一种结果，例如 $HH$，代表丢两次硬币后得到两个正面的结果。但不同的结果由于共享某些特性，可以被划分在同一个事件当中，例如，丢两次硬币产生相同的结果应有两种，即同时为正面或同时为背面 (i.e. $HH$ 或 $TT$)，它们归属于 “丢两次硬币产生相同的结果” 的事件：$\left\{ HH, TT \right\}$。回到问题，现在我们已知了第一次丢硬币后结果的信息，也就是 "第一次丢硬币是正面还是背面"，那么我们自然可以得出 $\mathcal{G}$ 是由集类：$\left\{ \left\{ HH, HT \right\}, ~ \left\{TT, TH \right\} \right\}$ 生成的 $\sigma$-algebra。这是因为第一次扔硬币的结果已经被确定——无论它是正面还是背面：如果是正面，那么结果无非两种：两次都正面或第一次正面第二次背面；如果是背面，结果也无非两种：两次都背面或第一次背面第二次正面。结合以下树结构，在得知第一次扔硬币结果的信息后，相当于从根 $XX$ 来到了第一层 $HX$ 或 $TX$ （$X$ 代表未知信息）。

---

---

同时，这也从另一个角度说明为什么概率论最终需要引入 “测度” 的定义——为了描述一种信息变化的过程。当我们并不知道第一次扔硬币的结果时，在全空间 $\Omega$ 上定义的测度空间为 $(\Omega, \mathcal{F}, P)$，其中：

$$\mathcal{F}:= \left\{ \Omega, ~ \emptyset, ~ \left\{ HH \right\}, ~ \left\{ HT \right\}, ~ \left\{ TH \right\}, ~ \left\{ TT \right\}, ~ \left\{ HH, HT \right\}, \ldots \right\}$$

where $\mathcal{F}$ 的 cardinality: $|\mathcal{F}| = 2^{4} = 16$。

而当已知第一次的信息后，$\sigma$-algebra 随即收缩为：

$$\mathcal{G}:= \left\{ \Omega, ~ \emptyset, ~ \left\{ HH, HT \right\}, ~ \left\{ TH, TT \right\} \right\}$$

现在考虑条件期望： $\mathbb{E}\left[ X ~ | ~ \mathcal{G} \right]$。其中，$\mathcal{G}$ 如上记作第一次丢完硬币后结果的全部信息，对于 $\forall w \in \Omega:$ 随机变量 $X$ 定义为：

$$X(w) = \begin{cases} a \qquad \mbox{if } ~ w = HH\\ b \qquad \mbox{if } ~ w = HT\\ c \qquad \mbox{if } ~ w = TH\\ d \qquad \mbox{if } ~ w = TT\\ \end{cases}$$

其中 $a, b, c, d \geq 0$。

---

Definition. (Conditional Expectation)

令 $X$ 为一个定义在 $(\Omega, \mathcal{F}, P)$ 上的非负随机变量。令 $G_{1}, G_{2}, \ldots$ 为一个两两不相交的事件序列，且对于 $\forall n \in \mathbb{N}^{+}: ~ P(G_{n}) > 0$，并且 $\bigcup\limits_{n\in\mathbb{N}^{+}} G_{n} = \Omega$。令 $\mathcal{G}$ 为包含 $\left\{ G_{1}, G_{2}, \ldots \right\}$ 的最小 $\sigma$-algebra，即，任意 $\mathcal{G}$ 的元素都可以写作 $\bigcup\limits_{n \in I} G_{n}$ 的形式，其中 $I \subset \mathbb{N}^{+}$ ($I$ 为 $\mathbb{N}^{+}$ 的某些子集)。那么：

$$\mathbb{E}\left[ X ~ | ~ \mathcal{G} \right](w) = \mathbb{E}\left[ X ~ | ~ G_{n} \right] = \frac{\mathbb{E}\left[ X \cdot \mathbb{I}_{G_{n}} \right]}{P(G_{n})} \qquad \qquad \mbox{if } w \in G_{n}$$

首先，$\mathbb{I}_{G_{n}}$是一个随机变量，或者说函数：

$$\mathbb{I}_{G_{n}}: \Omega \longrightarrow \left\{ 0, 1 \right\}, \quad x \longrightarrow \mathbb{I}_{G_{n}}(x) = \begin{cases} 1 \qquad \mbox{if } x \in G_{n}\\ 0 \qquad \mbox{otherwise} \end{cases}$$

因此则可以判定，Conditional Expectation $\mathbb{E}\left[ X ~ | ~ \mathcal{G} \right]$ 算出来也是一个随机变量，而并非常数。最后，我们可以发现一旦假设 $w \in G_{n}$，那么一定意味着 $w \notin G_{k}, ~ \forall k \in \mathbb{N}^{+}\setminus\left\{n\right\}$。

---

回到扔硬币的例子。这里显然我们有：$G_{1} = \left\{ HH, HT \right\}, ~ G_{2} = \left\{ TT, TH \right\}$，且 $G_{1} \cup G_{2} = \Omega$。那么。我们现在只需要依次假设 $w \in G_{n}$， 并求 $\frac{\mathbb{E}\left[ X \cdot \mathbb{I}_{G_{n}} \right]}{P(G_{n})}$，最后分类讨论逐点列出即可。

• 假设 $w \in G_{1} = \left\{ HH, HT \right\}$，

$$\begin{align*} \mathbb{E}\left[ X ~ | ~ \mathcal{G} \right](w) &= \frac{\mathbb{E}\left[ X \cdot \mathbb{I}_{G_{1}}, ~ w \in G_{1} \right]}{P(G_{1})}\\ &= \frac{\sum\limits_{w \in G_{1}}\mathbb{E}\left[ X \cdot \mathbb{I}_{G_{1}} ~ | ~ w \in G_{1} \right] \cdot P\big(\left\{ w \right\}\big)}{P(G_{1})}\\ &= \frac{\sum\limits_{w \in G_{1}} X(w) \cdot P\big(\left\{ w \right\}\big)}{P(G_{1})}\\ & = \frac{X(HH) \cdot P\big( \left\{ HH \right\} \big) + X(HT) \cdot P\big( \left\{ HT \right\} \big)}{P\big( \left\{ HH, HT \right\} \big)}\\ & = \frac{\frac{1}{4} \cdot a + \frac{1}{4} \cdot b}{\frac{1}{2}}\\ & = \frac{a + b}{2} \end{align*}$$

---

• 假设 $w \in G_{2} = \left\{ TT, TH \right\}$，

$$\begin{align*} \mathbb{E}\left[ X ~ | ~ \mathcal{G} \right](w) &= \frac{\mathbb{E}\left[ X \cdot \mathbb{I}_{G_{2}}, ~ w \in G_{2} \right]}{P(G_{2})}\\ &= \frac{\sum\limits_{w \in G_{2}}\mathbb{E}\left[ X \cdot \mathbb{I}_{G_{2}} ~ | ~ w \in G_{2} \right] \cdot P\big(\left\{ w \right\}\big)}{P(G_{2})}\\ &= \frac{\sum\limits_{w \in G_{2}} X(w) \cdot P\big(\left\{ w \right\}\big)}{P(G_{2})}\\ & = \frac{X(TT) \cdot P\big( \left\{ TT \right\} \big) + X(TH) \cdot P\big( \left\{ TH \right\} \big)}{P\big( \left\{ TT, TH \right\} \big)}\\ & = \frac{\frac{1}{4} \cdot c + \frac{1}{4} \cdot d}{\frac{1}{2}}\\ & = \frac{c + d}{2} \end{align*}$$

---

综上所述：

$$\mathbb{E}\left[ X ~ | ~ \mathcal{G} \right](w) = \begin{cases} \frac{a + b}{2} \qquad \mbox{if } ~ w \in \left\{ HH, HT \right\}\\ \frac{c + d}{2} \qquad \mbox{if } ~ w \in \left\{ TT, TH \right\}\\ 0 \qquad \quad \mbox{otherwise}\\ \end{cases}$$