概率期望简陋入门

概率与期望

书写约定

样本空间：$\Omega$

随机事件：$A,B,C\dots$ （一般用大写字母）

$A$ 事件发生的概率：$P(A)$

随机试验：$E$

$G$ 的幂集：$^G2$

$A$ 关于 $B$ 的补集：$B\setminus A$

随机变量：通常用 $X$

随机变量 $X$ 的取值范围：$I(X)$

随机变量 $X$ 的期望：$E(X)$

定义

数学基础

幂集：

把一个集合 $G$ 的所有子集（包括全集和空集）放入一个集合 $C$，则称 $C$ 为 $G$ 的幂集，$|C|$ 为 $G$ 的势

由二项式定理，不难发现有限集 $G$ 的势为 $2^{|G|}$

对于两个集合 $G_1,G_2$，如果它们的幂集存在一一对应关系，则称这两个集合同势（或者等势）

比如自然数集 $N$ 就和偶数集等势，和实数集 $R$ 不等势

积分

随机事件与样本空间

一次随机试验是一个可能导致不同输出的行为，也叫样本

一次随机试验的输出叫做样本输出，所有可能的输出叫做样本空间，记为 $\Omega$

随机事件是仅包含 $\Omega$ 中元素的一个集合，通常用大写字母 $A,B,C\dots$ 表示

把投一次骰子看做一次随机试验，骰子的值作为样本输出，那么有

$$\Omega=\{1,2,3,4,5,6\}$$

记 $A$ 表示两次骰子的值之和大于 $10$ 的一次随机事件，形式化地，有

$$A=\{(5,6),(6,5),(6,6)\}$$

事实上，对于随机事件 $A$，应当用新的样本空间 $\large\omega$ 来描述

$$\large\omega\small=\{(x,y)|x,y\in\Omega\}$$

定义事件的和与积，和表示发生任意一个即发生和事件，积表示全部发生才发生积事件，可以类比并和交（实际上也将采用相同的符号）

比如，就上文的例子，令 $B$ 表示两次骰子值之和小于12的一个随机事件

$$B=\{(x,y)|x+y<12\}$$

那么，$A$ 和 $B$ 的和事件和积事件分别为（其中积事件可以省略中间的 $\cap$）

$$A\ \cup\ B=\{(x,y)|x,y\in\Omega\}=\large\omega\\ A\ \cap\ B=\{(5,6),(6,5)\}$$

定义事件空间 $F$ 为 $^\Omega2$ 的子集，事件 $A$ 关于 $F$ 的补定义为

$$\bar{A}=F\setminus A$$

概率与期望

概率的古典定义为

$$P(X)=\frac{m}{n}$$

其中，$n$ 表示总方案数，$m$ 表示含 $X$ 的事件数，同样采用上文的例子

$$P(A)=\frac{|A|}{|\large\omega\small|}$$

显然，存在如下性质

$$\begin{align*} &P(\Omega)=1\\ &\forall A\cap B=\varnothing,P(A\cup B)=P(A)+P(B)\\ &\forall A,P(A)\in[0,1]\\ &\forall A\in F,\bar{A}\in F \end{align*}$$

注意第二条，结合集合的知识容斥得到

$$P(A\cup B)=P(A)+P(B)-P(A\cap B)$$

定义条件概率为 $A$ 发生前提下，$B$发生的概率，形式化的，我们有

$$P(B|A)=\frac{P(AB)}{P(A)}$$

对于一组事件 $A_1,A_2,A_3\dots A_n$ 如果有

$$\forall i,j\in[1,n],A_i\cap A_j=\varnothing\\ \bigcup_{i=1}^n P(A_i)=1$$

那么称这组事件是完备的

对于一组完备的事件，有全概率公式

$$P(B)=\sum_{i=1}^nP(A_i)P(B|A_i)$$

定义随机变量，感性上理解，随机变量就是基于随机事件的变量，形式化描述则为一个从样本空间 $\Omega$ 到实数集 $R$ 的一个映射 $X$，当样本输出为 $A$ 时，该随机变量的值为 $X(A)$

当

$$P(A\cap B)=P(A)P(B)$$

称事件 $A,B$ 相互独立

对于一组事件 $A_1,A_2,A_3\dots A_n$，如果

$$\forall i,j\in[1,n],P(A_i\cap A_j)=P(A_i)P(A_j)$$

那么它们两两独立

如果

$$\forall T\subset \{A_1,A_2,A_3\dots A_n\},P(\bigcap_{E\in T}E)=\prod_{E\in T}P(E)$$

那么它们互相独立

当

$$\forall \alpha\in I(X),\beta\in I(Y)\ ,P((X=\alpha)\cap(Y=\beta))=P(X=\alpha)P(Y=\beta)$$

称随机变量 $X,Y$ 相互独立

只有概率是不足的，假设进行一场按骰子点数得分的游戏，我想知道的将是期望得到的分数，而不是每种情况的概率

这就引出了期望的概念，对于一个随机变量 $X$，它的期望为

$$E(X)=\sum_{\alpha\in I(X)}\alpha P(X=\alpha)=\sum_{\omega\in\Omega}P(\omega)X(\omega)$$

上式成立的条件是 $I(X)$ 有限或可列（即可按某种方式表示其中所有元素，比如正整数集 $N$），这时的 $X$ 被称为离散随机变量，反之则为连续随机变量

对于连续随机变量，通常其取值范围为一段区间上的实数，不妨记其为 $(a,b)$，容易推出

$$E(X)=\int_{a}^b\xi P(X=\xi)d\xi$$

由定义显然可以推出

$$E(X+Y)=E(X)+E(Y)$$

同样容易有

$$E(Y)=\sum_{\alpha\in I(X)}P(X=\alpha)E(Y|(X=\alpha))$$

概率密度函数

考虑有连续随机变量 $X$

定义

$$F([a,b])=\int_a^bf(x)dx=P(X\in[a,b])$$

这样的 $f(x)$ 就是 $X$ 的概率密度函数

考虑概率和期望的关联，有

$$E(X)=\int_{x\in I(X)}xf(x)dx$$

可以记忆一下的小结论

$$\int_0^1x^ndx=\frac{1}{n+1}$$