随机过程及应用->概率论准备知识

目录

• 1.1 概率空间
• 1.2 随机变量及其分布
• 1.3 随机变量的函数
• 1.4 随机变量函数的数字特征
  • R-S(黎曼-斯蒂阶)积分简介
  • 二元R-S积分简介
  • 数学期望与方差
• 1.5 特征函数

 

正文

一、概率论准备知识

回到顶部

1.1 概率空间

$\sigma$ 代数(事件体)

可测空间$(\Omega, F)$

概率公理化定义

1. 非负性 $0\le P(A)\le 1$
2. 规范性 $P(\Omega)=1$
3. 可列可加性 (事件不相交时)

$P$是$(\Omega, F)$上的概率(测度)，三元体$(\Omega, F, P)$称为概率空间

乘积样本空间
$\Omega_1 \times \Omega_2 \times \cdots \times \Omega_n=\{(\omega_1, \omega_2, ..., \omega_n), \omega_i \in \Omega_i, i=1,2, ..., n\}$

$(\Omega, F, P)$下，概率$P$的性质

1. $P(\phi)=0$
2. 有限可加性
3. 连续性
4. 容斥定理(多除少补原理)

条件概率
$P(A|B)=\frac{P(AB)}{P(B)}, P(B)>0$

全概率和Bayes公式

1. $P(B)=\sum_{i=0}^{\infty}P(A_iB)=\sum_{i=0}^{\infty}P(B|A_i)\cdot P(A_i)，其中A_i是样本空间的划分$
2. $P(A_j|B)=\frac{P(B|A_j)\cdot P(A_j)}{P(B)}=\frac{P(B|A_j)\cdot P(A_j)}{\sum_{i=0}^{\infty}P(B|A_i)\cdot P(A_i)}$

回到顶部

1.2 随机变量及其分布

随机变量
将样本点映射到实数域上的单值实函数，且满足 $\forall x\in R, \{\omega: X(\omega)<=x\}\in F$

分布函数
$F(x)=P\{X\le x\}, \forall x\in R$

1. 单调不减
2. 0, 1之间
3. 右连续

二维随机变量
如果X 和Y 是定义在同一概率空间(Ω, F, P)上的两个随机变量, 称(X,Y )为二维随机变量(向量).

(X, Y)的联合分布函数
$F(x,y)=P\{\omega: X(\omega) \le x, Y(\omega) \le y\}$

条件分布函数，X=x条件下，随机变量Y的条件分布函数

$$\begin{align} F(Y|X=x)&=P{Y\le y | X=x} \ &=\frac {P{X=x, Y\le y}}{P{X=x}}\ &=\lim_{\alpha \to 0^{+}} \frac {F(x, y) - F(x-\alpha, y)} {F(x, +\infty) - F(x-\alpha, +\infty)} \end{align}$$

离散型随机变量的条件分布函数
(X, Y)在y=$y_k$条件下，X的条件分布函数

$$\begin{align} F_{X|Y}(x|y=y_k)&=P{X\le x|Y=y_k}\ &=\frac{P{X\le x,Y=y_k}}{P{Y=y_k}}\ &=\frac{\sum_{x_i\le x}P{X=x_i,Y=y_k}}{P{Y=y_k}} \end{align}$$

条件分布率
$y = y_k$ 条件下X的条件分布律

$$\begin{align} P{X=x_i|Y=y_i}=\frac{P{X=x_i, Y=y_i}}{P{Y=y_i}} \end{align}$$

条件密度函数
连续型(X, Y),有

$$\begin{align} F_{Y|X}(y|x)&=P{Y\le y|X=x}\ &=\frac{P{X=x, Y\le y}}{P{X=x}}\ &=\frac{\int_{-\infty}^{y}f(x, v)dv}{f_{X}(x)} \end{align}$$

称$f_{Y|X}(y|x)=F'_{Y|X}(y|x)=\frac {f(x, y)}{f_X(x)}$为X=x条件下，随机变量Y的条件密度函数。

随机变量独立性
随机变量相互独立的等价条件

$$\begin{align} X与Y相互独立&\Leftrightarrow P{X\le x,Y\le y}=P{X\le x}P{Y\le y}\ &\Leftrightarrow F(x,y)=F_X(x)F_Y(y)\ &\Leftrightarrow F_{X|Y}(x|y)=F(x)\ &\Leftrightarrow P{X=x_i|Y=y_i}=P{X=x_i}\ &\Leftrightarrow f_{X|Y}(x|y)=f_X(x) \end{align}$$

扩展至 n 维 随机变量的独立性

$$\begin{align} F(x_1,x_2,...,x_n)=F_{X_1}(x_1)\cdot F_{X_2}(x_2) \cdot \cdot \cdot F_{X_n}(x_n) \end{align}$$

多维随机变量独立，自分量同样独立
若随机变量$X_1, X_2 ,…, X_n$相互独立，则其中任意k(2≤k≤n)个随机变量 $X_(i_1),X_(i_2 ),⋯,X_(i_k)$也相互独立.

随机变量函数的独立
设有$n_1+n_2+...+n_k$维随机变量，$(X_{1,1},...,X_{1,n_1},X_{2,1},...,X_{2,n_2},...,X_{k,1},...,X_{k,n_k})$，若$\Psi_i$是$n_i$元实变实值连续函数，令$Y_i=\Psi_i(X_{i,1},...,X_{i,n_i})$，其中$(i=1,2,...,k)$
有1）$Y_1,Y_2,...,Y_k$必为同一概率空间的随机变量
2) 若$(X_{1,1},...,X_{1,n_1},X_{2,1},...,X_{2,n_2},...,X_{k,1},...,X_{k,n_k})$相互独立，那么$Y_1,Y_2,...,Y_k$也相互独立。

回到顶部

1.3 随机变量的函数

随机变量的函数仍为同一概率空间上的随机变量

设已知$(X_1,X_2,…,X_n)$的联合分布,并有$k$个$n$元连续函数：
$y_1=g_1(x_1,…,x_n) ,…, y_k=g_k(x_1,…,x_n)$，则 $Y_i=g_i(X_1,…,X_n),(i=1,2,…,k)$是随机变量. $(Y_1,Y_2,…,Y_k)$的联合分布函数为：

$$\begin{align} F(y_1, y_2, ..., y_k)&=P{Y_1 \le y_1, ..., Y_k \le y_k}\ &=P{g_1(X_1,...,X_n)\le y_1, ..., g_k(X_1, ..., X_n) \le y_k} \end{align}$$

当$(X_1, X_2, ..., X_k)$是连续型随机变量时
$F(y_1, y_2, ..., y_k)=\int_{\quad D} \cdot \int f(x_1, \cdots, x_n)dx_1\cdots dx_n$，其中$D=\{(x_1, \cdots, x_n):g_i(x_1, \cdots, x_n) \le y_i, i=1, 2, \cdots, k\}$

当$(X_1, X_2, ..., X_k)$是离散型随机变量时
$p(y_1, y_2, \cdots, y_k)=\sum_{(x_1, \cdots, x_n)\in D} P\{X_1=x_1,\cdots,X_n=x_n\}$，其中$D=\{(x_1, \cdots, x_n):g_i(x_1, \cdots, x_n) = y_i, i=1, 2, \cdots, k\}$

二维随机变量的变换
设$(X_1,X_2)$的联合密度为$f(x_1,x_2)$，若函数

$$\begin{cases} y_1=g_1(x_1,x_2)\ y_2=g_2(x_2,y_2) \end{cases}$$
满足下述条件

1. 存在唯一反函数

$$\begin{cases} x_1=x_1(y_1,y_2)\ x_2=x_2(y_1,y_2) \end{cases}$$
2. 有联系一阶偏导数
3. Jacobi 行列式

$$\begin{matrix} J=\begin{vmatrix} \frac{\partial x_1}{\partial y_1} & \frac{\partial x_1}{\partial y_2}\ \frac{\partial x_2}{\partial y_1} & \frac{\partial x_2}{\partial y_2} \end{vmatrix}\neq 0 \end{matrix}$$

则$Y_1=g_1(X_1,X_2), Y_2=g_2(X_1,X_2)$的联合概率密度为
$f(x_1(y_1,y_2),x_2(y_1,y_2))\cdot |J|$

回到顶部

1.4 随机变量函数的数字特征

R-S(黎曼-斯蒂阶)积分简介

R-S积分定义
设f(x), g(x)为定义在[a, b]上的实值函数
f(x)关于g(x)在[a, b]上的R-S积分,简记为$I=\int_a^bf(x)dg(x)$
若

$$\begin{align} \int_{-\infty}^{+\infty}f(x)dg(x)=lim_{\begin{matrix} a \to -\infty \ b \to +\infty \end{matrix} }\int_a^bf(x)dg(x) \end{align}$$
存在，成为广义的R-S积分。注黎曼积分$\int_a^b f(x)dx$是R-S积分的特例

R-S积分的性质

1. $\int_a^bf_1(x)\pm f_2(x)dg(x)=\int_a^bf_1(x)dg(x)\pm \int_a^bf_2(x)dg(x)$

2. $\int_a^bf(x)d(g_1(x)\pm g_2(x))=\int_a^bf(x)dg_1(x)\pm \int_a^bf(x)dg_2(x)$

3. $\int_a^b\alpha f(x)d\beta g(x)=\alpha \cdot \beta \int_a^bf(x)dg_(x), \alpha, \beta$为任意常数
   以上三个等式成立的意义是: 当等号右边存在时, 左边也存在并相等

4. $\int_a^b f(x)dg(x)=\int_a^cf(x)dg(x)+\int_c^bf(x)dg(x), a<c<b$

5. $\int_a^bf(x)dg(x)=[f(x)g(x)]_a^b-\int_a^bg(x)df(x)$。有点像分部积分。

上述性质完全可以推广到广义积分。

广义R-S积分定理
若f(x)在R上连续且有界, g(x)在R上单调有界, 则积分

$$\int_{-\infty}^{+\infty}f(x)dg(x)$$

存在，并且
1）若$g'(x)$在R上存在, 在任意有限区间[a, b]上黎曼可积, 则

$$\int_{-\infty}^{+\infty}f(x)dg(x)=\int_{-\infty}^{+\infty}{f(x)g'(x)dx}$$

2. 若存在实数列$C_k,k=0,\pm 1,...$，使得 $...<C_{-1}<C_0<C_1<...$，并且$g(x)$在$[C_i, C_{i+1})$上取常数，那么

$$\int_{-\infty}^{+\infty}f(x)dg(x)=\sum_{-\infty}^{+\infty}f(C_k)[g(C_k+0)-g(C_k-0)]$$

随机变量分布函数的广义R-S积分形式
若F(x)是离散型随机变量的分布函数， g(x)关于F(x) 的广义R-S积分形式。利用广义R-S积分定理 2) 的条件，可得

$$\begin{align} \int_{-\infty}^{+\infty}g(x){\rm d}F(x)&=\sum_{k=-\infty}^{+\infty}g(x_k)[F(x_k+0)-F(x_k-0)]\ &=\sum_{k=-\infty}^{+\infty}g(x_k)p_k \end{align}$$

特别的，当g(x)=x时，离散型随机变量x的数学期望为

$$\int_{-\infty}^{+\infty}x{\rm d}F(x)=\sum_{k=-\infty}^{+\infty}x_kp_k$$

随机变量分布函数的广义R-S积分形式
若F(x)是连续型随机变量的分布函数， g(x)关于F(x) 的广义R-S积分形式。
因连续型随机变量的分布函数绝对连续，有$\frac {{\rm d} F(x)}{{\rm d}x}=F'(x)=f(x)\ge 0$，若R-S积分存在，则

$$\int_{-\infty}^{+\infty}g(x){\rm d}F(x)=\int_{-\infty}^{+\infty}g(x)f(x){\rm d}x$$

二元R-S积分简介

假定二元函数$F(x, y)$满足下述条件:

1. 对于平面上任意矩形$a_1\le x \le b_1, a_2 \le y \le b_2$有
   $\Delta F(a_1,b_1;a_2,b_2)=F(a_2,b_2)-F(a_1,b_2)-F(a_2,b_1)+F(a_1, b_1)\ge 0$

$$\begin{align} \lim_{\begin{matrix}x\to +\infty\ y\to +\infty\end{matrix}}F(x,y)=1 \end{align}$$
且对任意x与y，$\lim_{x\to -\infty}F(x,y)=\lim_{y\to -\infty}F(x,y)=0$

$g(x,y)$关于$F(x,y)$在整个平面上的R-S积分为

$$\begin{align} \iint\limits_{ \begin{matrix} a\le x \le b\ c\le y \le d \end{matrix} } g(x,y){\rm d}F(x,y) \end{align}$$

广义的二维R-S积分

$$\begin{align} \lim\limits_{ \begin{matrix} a,c\to -\infty\ b,d\to +\infty\ \end{matrix} } \iint\limits_{ \begin{matrix} a\le x \le b\ c\le y \le d \end{matrix} } g(x,y){\rm d}F(x,y) \end{align}$$

数学期望与方差

数学期望
离散型和连续型随机变量的数学期望

$$\begin{align} if \int_{-\infty}^{+\infty}& |x| {\rm d}F(x)<+\infty, \hspace{0.8em}then \hspace{0.5em} exits\ E(X)&=\int_{-\infty}^{+\infty} x{\rm d}F(x)\ &=\begin{cases} \int_{-\infty}^{+\infty} xf(x){\rm d}x, when \hspace{0.5em} continous\ \sum\limits_{k=0}^{+\infty}x_k\cdot p_k, when \hspace{0.5em} discrete \end{cases} \end{align}$$

设F(x)是随机变量X的分布函数, g(x)在R上连续, 若$\int_{-\infty}^{+\infty}|g(x)|{\rm d}F(x)<+\infty$存在，那么Y=g(X)的数学期望存在，且

$$E(Y)=E(g(X))=\int_{-\infty}^{+\infty}g(x){\rm d}F(x)$$

随机变量X分布函数为F(x)，其方差为

$$D(X)=\int_{-\infty}^{+\infty}[x-E(X)]^2\text{d}F(x)$$

柯西-许瓦兹不等式
对任意的随机变量$X,Y$。若$E(X^2) ,E(Y^2)$有限, 则有

$$\{E[|XY|]\}^2\le E[X^2]\cdot E[Y^2]$$

当且仅当$P{Y=\alpha X}=1$时，等号成立，其中$\alpha \in R$。

E(X)和D(X)关系

对随机变量X，若有$\int_{-\infty}^{+\infty}x^2\text{d}F(X)<+\infty$，则$E(X),D(X)$存在，并且

\begin{align}
&\hspace{2em} 0\le D(X)=E(X^2)-[E(X)]2\
&\Rightarrow [\int_{-\infty}^{+\infty}x{\rm d}F(x)]^2\le \int_{-\infty}^{+\infty}x2{\rm d}F(x)
\end{align}

条件数学期望
设(X, Y)是二维随机变量, 条件分布函数$F_{Y|X}(y|x)$存在，又若$\int_{-\infty}^{+\infty}|y|{\rm d}F_{Y|X}(y|x)<+\infty$，称

$$E(Y|x)=E(Y|X=x)=\int_{-\infty}^{+\infty}y{\rm d}F_{Y|X}(y|x)$$

为随机变量Y在X=x条件下的数学期望

条件数期望为
设函数g(x)在R上连续，若$\int_{-\infty}^{+\infty}|g(x)|{\rm d}F_{X|Y}(x|y)<+\infty$，则随机变量g(X)在“Y=y”条件下的条件数期望为

$$E[g(X)|Y=y]=\int_{-\infty}^{+\infty}g(x){\rm d}F_{X|Y}(x|y)$$

随机变量X的条件方差

\begin{align}
D(X|Y=y)&=E[X-E(X|Y=y)]^2\
&=\int_{-\infty}^{{+\infty}[x-E(X|Y=y)]}2{\rm d}F_{X|Y}(x|y)
\end{align}

一般$E(X|Y=y)=\mu(y), E(Y|X=x)=\delta(x)$是实值函数，可以证明随机变量的函数

$$\mu(X)=E(Y|X)，\delta(Y)=E(X|Y)$$

仍是随机变量。
注意这个大小写

关于一般数字特征的性质
设X,Y,Z是(Ω,F, P)上的随机变量, g(·)和h(·)为R上连续函数, 且各数学期望存在,有

1. $E(c|Y)=c, c$是常数
2. $E(aX+bY|Z)=aE(X|Z)+bE(Y|Z), a, b$是常数
3. 若X和Y相互独立，则$E(X|Y)=E(X)$
4. $E[g(X)h(Y)|X]=g(X)E[h(Y)|X]$
5. $E\{E[g(X,Y)|Y]\}=E[g(X,Y)]$，类似于二重积分和二次积分的关系
6. $E[X-E(X|Y)]^2\le E[X-g(Y)]^2$，之前的$D(X)\le E[(X-c)^2]$

全数学期望公式
上诉性质5的特例

1. $E(X)=E[E(X|Y)]$
2. $E[g(X)]=E\{E[g(X)|Y]\}$

回到顶部

1.5 特征函数

复随机变量的数学期望
设X, Y, Z 是定义在同一概率空间上的随机变量，其中X Y为实随机变量，Z是复随机变量
$Z=X+jY$，那么$E(Z)=E(X)+jE(Y), j=\sqrt{-1}$

$E(e^{jtX})$是实变量t的复值函数

特征函数定义
设X是定义在(Ω,F, P )上的随机变量,称 $\phi(t)=E(e^{jtX})=\int_{-\infty}^{+\infty}e^{jtx}{\rm d}F(x)=E(costX)+jE(sintX)$为X的特征函数。
当X是连续性随机变量
$\phi(t)=\int_{-\infty}^{+\infty}e^{jtx}f(x){\rm d}x$
当X是离散型随机变量
$\phi(t)=\sum_{k}e^{jtx_k}p_k$

常见分布的$\phi$函数
单点分布 $P\{X=c\}=1 \Longrightarrow \phi(t)=e^{jtc}$
两点分布 $\phi(t)=q+p\cdot e^{jt}$
二项分布 $\phi(t)=(q+p\cdot e^{jt})^n$
泊松分布 $\phi(t)=e^{\lambda(e^{jt}-1)}$
指数分布 $\phi(t)=\lambda \frac{\lambda}{\lambda^2+t^2} + j\lambda \frac{t}{\lambda^2+t^2}=(1-\frac{jt}{\lambda})^{-1}$
均匀分布 U[-a, a] $\phi(t)=\frac{\sin at}{at}$
正态分布 $\phi(t)=e^{jt\mu}\cdot e^{-\frac{\sigma^2 t^2}{2}}, speicially \hspace{0.2cm} \phi(t)=e^{-\frac{t^2}{2}}$

特征函数的性质

1. $|\phi(t)|\le 1=\phi(0)$
2. $\bar{\phi(t)}=\phi(-t)$

随机变量X的特征函数为$\phi_{X}(t)$, 则$Y= aX+b$的特征函数是$\phi_{Y}(t)=e^{jtb}\cdot \phi_X(at)$, a, b 是常数

特征函数的充要条件
(波赫纳—辛钦) 函数𝝋(𝒕)为特征函数的充分必要条件是在R上一致连续，非负定且𝝋(𝟎)=𝟏.

若随机变量X 的n阶矩存在,则X的特征函数$\phi(t)$的k 阶导数$\phi^k(t)$存在,且
$E(X^k)=j^{-k}\cdot \phi^k(0), (k\le n)$

反演公式：设随机变量X的分布函数和特征函数分别为$F(x)$和$\phi(t)$，那么对于$F(x)$的任意连续点$x_1, x_2\hspace{0.3cm}(x_1<x_2)$，有

\begin{align}
F(x_2)-F(x_1)=\frac{1}{2\pi}\cdot \lim_{T\to +\infty}\int_{-T}^{T}\frac {e^{-itx_1}-e{-itx_2}}{it}\phi(t){\rm d}t
\end{align}

推论1 唯一性定理：特征函数和分布函数是一一对应的。

推论2 连续型随机变量
若随机变量X的特征函数$\phi(t)$在R上绝对可积，则X为连续型随机变量，其概率密度为

\begin{align}
f(x)=\frac{1}{2\pi}\cdot \int_{-\infty}^{+\infty}e\phi(t){\rm d}t
\end{align}

绝对可积函数指绝对值可积的函数

推论3 离散型随机变量
随机变量X 是离散型的,其分布律为 注意k的取值范围是整数！

$$p_k=P\{x=k\}, k=0, \pm1, \pm2, ...$$

其特征函数 $\phi(t)=\sum_{k=-\infty}^{+\infty} p_k e^{itk}, t\in R$

并且 $p_k=\frac{1}{2\pi} \int_{-\pi}^{+\pi}e^{-itk} \phi(t) {\rm d}t$

明白这个 $-\pi,\pi$是为了消解$e^{itk}$，因为映射到了$cos sin$上积分

Y=X_1+...+X_n，\phi (t)的关系
如果随机变量 $X_1, X_2, ..., X_n$相互独立，$Y=\sum_{k=i}^{n} X_k$，那么$\phi_Y(t)=\prod_{k=1}^{n}\phi_{X_k}(t)$

二维随机变量(X, Y)的特征函数
定义为$\phi(t_1, t_2)=E[e^{jt_1X+jt_2Y}]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}e^{jt_1x+jt_2y}{\rm d}F(x, y)$
连续性随机变量而言 $\phi(t_1, t_2)=E[e^{jt_1X+jt_2Y}]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}e^{jt_1x+jt_2y}\cdot f(x, y){\rm d}x{\rm d}y$
离散型随机变量而言 $\phi(t_1, t_2)=E[e^{jt_1X+jt_2Y}]=\sum_{r}\sum_{s}p_{r,s}\cdot e^{jt_1x_r+jt_2y_s}$

n维随机向量(X1,X2,…,Xn)的特征函数
n维随机向量(X1,X2,…,Xn)的分布函数为F(x1,x2,…,xn),则它的特征函数为
$\phi(t_1,t_2,...,t_n)=\int_{-\infty}^{+\infty}\cdots\int_{-\infty}^{+\infty}e^{j(t_1x_1+t_2x_2+\cdots+t_nx_n)}{\rm d}F(x_1,\cdots,x_n)$

**随机变量X1,X2,…,Xn相互独立的充要条件是 **
$\phi(t_1,t_2,\cdots,t_n)=\prod_{k=1}^{n}\phi_{X_k}(t_k)$

二维随机变量(X,Y)的特征函数为$\phi (t_1, t_2)$,则Z=aX+bY+c 的特征函数为
$\phi_Z(t)=e^{jtc}\phi(at_1,bt_2)$