【杂谈】对随机变量、事件的独立与依赖、期望的线性性的深入探讨

定义 \(e\) 为一个 事件/样本点，其发生的概率为 \(P(e)\)。定义 样本空间/基本事件空间 为所有的可能事件/样本点的集合。

随机变量 定义为一个从 样本空间 到 实数集 的一个映射（也就是一个函数），即 \(X: \Omega(X) \to R\)。\(X\) 实际上是 \(X(e)\) 的一个简记。

设 \(L\) 为一个实数集合，我们定义：

\[P(X \in L) = \sum_{X(e) \in L} P(e) \]

相应的有：

\[P(X = x) = P(X \in \{x\}) = \sum_{X(e) = x} P(e) \]

那么一个随机变量的期望值 \(E(X)\) 的定义式应当是：

\[\displaystyle E(X) = \sum_{e \in \Omega(X)} X(e) P(x) \]

后面的式子如果我们枚举 \(X(e)\) 的取值，而不是事件，那么就得到了以下的式子：

\[\displaystyle E(X) = \sum_{x} x P(X = x) \]

定义 二元随机变量 为两个随机变量 \(X(e), Y(e)\) 组成的二元组，即 \((X, Y)\)。

那么 \(X + Y\) 是什么？实际上是指 \((X + Y)(e)\)，即两个映射（函数）的加和，此时 \(X\) 和 \(Y\) 的样本空间是相等的。

相对应的，设 \(A, B\) 为两个实数集合，我们定义：

\[P(X \in A, Y \in B)=\sum_{X(e) \in A, Y(e) \in B} P(e) \]

注意此时的事件 \(e\) 是同一个事件，只是两种映射的值 \(X(e), Y(e)\) 不同。

那么就有了上面的：

\[E(X+Y)=\sum_x \sum_y (x + y) P(X = x, Y = y) \]

那么假如我们的两个随机事件的事件空间并不一样呢？

我们可以构造一个新的事件空间，这个事件空间等于两个事件空间的笛卡尔积。

然后我们将 \(X(e_1), Y(e_2)\) 扩展定义为：

\[X({\small{\small(e_1, e_2)}}) = X(e_1), Y({\small{\small(e_1, e_2)}}) = Y(e_2) \]

那么 \(X+Y\) 的定义就能够给出了：

\[(X+Y)({\small(e_1, e_2)}) = X({\small(e_1, e_2)}) + Y({\small(e_1, e_2)}) = X(e_1) + Y(e_2) \]

注意此时仅仅是将事件空间扩展了，概率并不相等，此时的概率 \(P(X = x, Y = y)\) 是一个二元函数，即上方所说的：

\[P(X = x, Y = y)=\sum_{X(e) = x, Y(e) = y} P(e) \]

此时，由于有 \(P(X = x) = \sum_{X(e) = x} P(e)\)，我们可以相应的得出：

\[\begin{aligned} \sum_y P(X = x, Y = y) &=\sum_y \sum_{X(e) = x, Y(e) = y} P(e) \\ &= \sum_{X(e) = x} P(e) \\ &= P(X = x) \end{aligned} \]

对 \(x\) 求和也是一样的。

也就是说，对于像 \(\sum_y P(X = x, Y = y) = P(X = x)\) 这样的恒等式，并不是由两随机变量独立，拆开后求和得到的，这也意味着这个式子对 \((X, Y)\) 这个二元随机变量没有限制。

那么实际上，期望的线性性的推导为：

\[\begin{aligned} E(X + Y) &= \sum_{{\small(e_1, e_2)}} (X(e_1) + Y(e_2)) P({\small(e_1, e_2)})\\ &= \sum_x \sum_y (x + y) P(X = x, Y = y)\\ &= \sum_x x \sum_y P(X = x, Y = y) + \sum_y y \sum_x P(X = x, Y = y)\\ &= \sum_x x P(X = x) + \sum_y y P(Y = y)\\ &= E(X) + E(Y) \end{aligned} \]

关于随机变量的独立与依赖性：

两个随机变量 \(X, Y\) 独立 的定义是对于任意 \(x, y\)，都有 \(P(X = x, Y = y) = P(X = x) P(Y = y)\)（严格来说应当是分布函数），而两个随机变量 \(X, Y\) 依赖 其实也不过是指存在 \(x, y\)，使得 \(P(X = x, Y = y) \ne P(X = x) P(Y = y)\)。

也就是说，\(X(e), Y(e)\) 的取值仍然是“独立”的，\(Y(e)\) 的取值不会因为 \(X(e)\) 的取值改变而改变，只不过是 \(Y(e)\) 取到相应值的概率改变了。即使说 \(X(e)\) 取某值时，\(Y(e)\) 取不到某值，也只不过是说 \(Y(e)\) 取到这个值的概率为 \(0\) 而已。独立与依赖只是对概率造成的影响，并不会对取值造成影响。