概率与随机过程概览（一）（随机理论）(概率空间)

概率与随机过程概览（一）（随机理论）(概率空间)

B. 1 概率空间

定义 B. 1（\(\sigma\)-域）设 \(\mathcal{F}\) 是非空集合 \(\Omega\) 的子集的集合。如果 \(\mathcal{F}\) 满足以下条件，则称 \(\mathcal{F}\) 为 \(\sigma\)-域（或 \(\sigma\)-代数）：

1. \(\Omega \in \mathcal{F}\)。

2. \(\mathcal{F}\) 在补集运算下封闭：如果 \(A \in \mathcal{F}\)，则 \(A^c \in \mathcal{F}\)，其中 \(A^c = \{\omega \in \Omega : \omega \notin A\}\)。

3. \(\mathcal{F}\) 在可数并集下封闭：如果对于 \(i = 1,2,3,\ldots\)，有 \(A_i \in \mathcal{F}\)，则 \(\bigcup_{i=1}^{\infty} A_i \in \mathcal{F}\)。

• 直接推出空集 \(\varnothing\) 也是 \(\mathcal{F}\) 的一个元素（因为 \(\Omega^c = \varnothing\)），并且 \(\mathcal{F}\) 在可数交集下封闭，因为：

\[\bigcap_{i = 1}^{\infty} A_i^c = \left( \bigcup_{i = 1}^{\infty} A_i \right)^c. \]

• \(\Omega\) 的所有子集的集合（即其幂集）是给定集合 \(\Omega\) 的最大 \(\sigma\)-域，而最小 \(\sigma\)-域由 \(\{\Omega, \varnothing\}\) 给出。

• 此外，如果 \(A\) 是 \(\Omega\) 的一个真（严格的）非空子集，则包含 \(A\) 的最小 \(\sigma\)-域由 \(\{\Omega, \varnothing, A, A^c\}\) 给出。

定义 B. 2（概率空间）概率空间是一个三元组 \((\Omega, \mathcal{F}, P)\)，其中 \(\Omega\) 是一个称为样本空间的给定集合，包含所有可能的结果（通常来自实验），\(\mathcal{F}\) 是 \(\Omega\) 子集的一个 \(\sigma\)-域，\(P\) 是在 \(\sigma\)-域上的概率度量 \(P : \mathcal{F} \rightarrow [0,1]\)，满足以下条件：

1. 对所有 \(A \in \mathcal{F}\)，有 \(0 \leq P(A) \leq 1\)。

2. \(P(\Omega) = 1\)。

3. 可数可加性：如果 \(A_1, A_2, \ldots\) 是 \(\mathcal{F}\) 中的一系列不相交的集合（即对所有 \(i \neq j\)，有 \(A_i \cap A_j = \varnothing\)），则

\[P\left( \bigcup_{k = 1}^{\infty} A_k \right) = \sum_{k = 1}^{\infty} P(A_k). \]

• 由以上定义的属性 1-3 直接推出 \(P(\varnothing) = 0\)。

• 通常，\(\sigma\)-域 \(\mathcal{F}\) 被称为事件空间，其元素（满足定义 B.1 的 \(\Omega\) 的子集）被称为事件。

B. 1 概率空间

• \(\mathbb{R}\) 的 Borel \(\sigma\)-域，记为 \(\mathcal{B}(\mathbb{R})\)，是包含 \(\mathbb{R}\) 中所有开区间的子集的最小 \(\sigma\)-域。

• \(\mathcal{B}(\mathbb{R})\) 的元素称为 Borel 集。

• 对于任何随机变量 \(X\)，我们用 \(P_X\) 表示由 \(X\) 引起的 \(\mathcal{B}(\mathbb{R})\) 上的概率分布，由下式给出

\[P_X(B) \mathrel{\ text{:=}} \Pr[X \in B] = P(\omega \in \Omega : X(\omega) \in B),\quad B \in \mathcal{B}(\mathbb{R}). \]

注意，\(P_X(B), B \in \mathcal{B}(\mathbb{R})\) 的量完全表征了随机变量 \(X\)，因为它们确定了涉及 \(X\) 的所有事件的概率。

B. 2 随机变量和随机过程

• 在概率空间 \((\Omega, \mathcal{F}, P)\) 上定义的随机变量 \(X\) 是一个实值函数 \(X : \Omega \rightarrow \mathbb{R}\)，它是可测的（或 \(\mathcal{F}\)-可测的），即满足以下属性：

\[X^{-1}((-\infty, t]) \mathrel{\text{:=}} \{\omega \in \Omega : X(\omega) \leq t\} \in \mathcal{F} \]

对于每个实数 \(t\)。

• 随机过程（或随机源）是来自同一概率空间的一组随机变量的集合。它可以用以下集合数学表示：

\[\{X_t, t \in I\} \]

其中 \(X_t\) 表示过程中的第 \(t\) 个随机变量，索引 \(t\) 跨越一个任意的索引集 \(I\)。

B. 2 随机变量和随机过程

• 索引集 \(I\) 可以是不可数无限的（例如，\(I = \mathbb{R}\)），在这种情况下，我们处理的是连续时间过程。

• 除了第5章的连续时间（波形）高斯信道的简短插曲外，我们在整个讲座中将考虑离散时间通信系统。

准确来说，我们将只考虑以下情况的索引集 \(I\)：

情况 a）\(I\) 仅包含一个索引。

情况 b）\(I\) 是有限的。

情况 c）\(I\) 是可数无限的。

为什么基于 \((\Omega, \mathcal{F}, P)\) 定义随机变量？

答案 1：\((\Omega, \mathcal{F}, P)\) 是内部真正发生的事情，

但可能是不可观测的。

• 为了推断哪个不可观测的 \(\omega\) 发生了，进行了实验，产生了一个可观测的 \(x\)，这是 \(\omega\) 的函数。

• 这样的实验产生了随机变量 \(X\)，其概率定义在概率空间 \((\Omega, \mathcal{F}, P)\) 上。

答案 2：有了潜在的概率空间，任何 \(\{X_t, t \in I\}\) 的有限维分布都是明确定义的。

• 例如，

\[\Pr[X_1 \leq x_1, X_5 \leq x_5, X_9 \leq x_9] \]

\[= P(\{\omega \in \Omega : X_1(\omega) \leq x_1, X_5(\omega) \leq x_5, X_9(\omega) \leq x_9\}) \]

• 在许多应用中，我们可能更感兴趣的是随机变量的分布函数，而不是它们所定义的潜在概率空间。

• 已经证明 [Billingsley, Thm. 14.1]，给定一个实值非负函数 \(F(\cdot)\)，它是非递减且右连续的，并且满足

\[\lim_{x \downarrow -\infty} F(x) = 0\quad\text{和}\quad\lim_{x \uparrow \infty} F(x) = 1, \]

则存在一个

随机变量和一个潜在的概率空间，使得该随机变量的累积分布函数（cdf）\(\Pr[X \leq x] = P_X((-\infty, x])\)，定义在概率空间上，等于 \(F(\cdot)\)。

• 这个结果使我们免除了在定义随机变量之前需要参考概率空间的负担。换句话说，我们可以直接通过其 cdf \(F_X(x) = \Pr[X \leq x]\) 定义随机变量，而无需提及其潜在的概率空间。

• 然而，重要的是要记住，从形式上讲，随机变量是在潜在的概率空间上定义的。