概率论基本知识

条件概率

离散情况

$$P(B|A)={\displaystyle \frac{P(AB)}{P(A)}}$$

^ff235e

[!tip] 推论

$$P(B|A)P(A)=P(A|B)P(B)=P(AB)$$

连续情况

$$f_{Y|X}(y|x)={\displaystyle \frac{f(x,y)}{f_X(x)}}$$

条件期望和重期望

条件期望

$$E(X|Y=y)=\int x{p}_{X|Y}(x|y)\mathrm{d}x$$

重期望公式

$$E(X)=E(E(X|Y))=\sum E(X|Y)P(Y)$$

全概率公式

$$P(A)=\sum _{i=1}^{n}P(A|B_i)P(B_i)$$

^6c9cba

贝叶斯公式

在只有两个事件时

$$P(B|A)={\displaystyle \frac{P(A|B)P(B)}{P(A|B)P(B)+P(A|\overline{B})P(\overline{B})}}$$

在多个事件时

$$P(B_i|A)={\displaystyle \frac{P(A|B_i)P(B_i)}{\sum _{i=1}^{n}P(A|B_i)P(B_i)}}$$

^322785

[!hint]- 证明
对条件概率公式![[#^{ff235e]]的分母使用一次全概率公式![[#}6c9cba]]

切比雪夫不等式

$$P(|X-\mu |\ge k)\le {\displaystyle \frac{{\sigma }^2}{k^2}}$$

数字特征

均值、方差、协方差

1. 均值

   $$\mu =EX=\int xf(x)\mathrm{d}x$$

2. 方差

   $${\sigma }^2=Var(X)=\int (x-\mu {)}^{2}f(x)\mathrm{d}x$$

3. 复合随机变量的均值和方差

   $$E(g(X))=\int g(x)f(x)\mathrm{d}x$$
   $$Var(g(X))=\int (g(x)-E(g(x)){)}^{2}f(x)\mathrm{d}x$$

4. 协方差

   $$Cov(X,Y)=E[(X-{\mu }_X)(Y-{\mu }_Y)]$$

   方差可以类似二项式展开，平方项用方差代替，乘积项用协方差代替。

   $$Var(aX+bY)=a^{2}Var(x)+2abCov(X,Y)+b^{2}Var(Y)$$

矩

原点矩

$$v_k=\int x^{k}f(x)\mathrm{d}x$$

零阶原点矩恒为 1

中心矩

$${\mu }_k=\int (x-\mu {)}^{k}f(x)\mathrm{d}x$$

零阶中心矩恒为 1

一阶中心矩恒为 0

由二项式定理，有

$${\mu }_k=\sum _{i=0}^k\left(\begin{array}{c}k\\ i\end{array}\right)v_i(-\mu {)}^{k-i}$$

变异系数

$$C_v(X)={\displaystyle \frac{\sqrt{Var(X)}}{E(X)}}={\displaystyle \frac{\sigma }{\mu }}$$

峰度系数

$$kurtosis={\displaystyle \frac{{\mu }_4}{{\sigma }^4}}-3=E({\displaystyle \frac{X-\mu }{\sigma }}{)}^4-E(N{)}^4$$

其中，$N\sim N(0,1)$

偏度系数

$$skewness={\displaystyle \frac{{\mu }_3}{{\sigma }^3}}=E({\displaystyle \frac{X-\mu }{\sigma }}{)}^3$$

常见分布

离散分布

名称	记号	分布	均值	方差	特征函数
伯努利分布	$B(1,p)$	$p^k(1-p{)}^{1-k}$	$p$	$p(1-p)$	$p{\mathrm{e}}^{jt}+1-p$
二项分布	$B(n,p)$	$\left(\begin{array}{c}n\\ k\end{array}\right)p^k(1-p{)}^{n-k}$	$np$	$np(1-p)$	$(p{\mathrm{e}}^{jt}+1-p{)}^n$
几何分布	$Ge(p)$	$p(1-p{)}^{k-1}$	${\displaystyle \frac{1}{p}}$	${\displaystyle \frac{1-p}{p^2}}$	${\displaystyle \frac{p{\mathrm{e}}^{jt}}{1-(1-p){\mathrm{e}}^{jt}}}$
帕斯卡分布	$NB(r,p)$	$\left(\begin{array}{c}k-1\\ r-1\end{array}\right)p^r(1-p{)}^{k-r}$	${\displaystyle \frac{r}{p}}$ [1]	${\displaystyle \frac{r(1-p)}{p^2}}$	$({\displaystyle \frac{p{\mathrm{e}}^{jt}}{1-(1-p){\mathrm{e}}^{jt}}}{)}^r$
超几何分布	$H(N,n,M)$	${\displaystyle \frac{\left(\begin{array}{c}M\\ k\end{array}\right)\left(\begin{array}{c}N-M\\ n-k\end{array}\right)}{\left(\begin{array}{c}N\\ n\end{array}\right)}}$	${\displaystyle \frac{nM}{N}}$
泊松分布	$pois(\lambda )$	${\mathrm{e}}^{-\lambda }{\displaystyle \frac{{\lambda }^k}{k!}}$	$\lambda$	$\lambda$	${\mathrm{e}}^{\lambda (jt-1)}$

连续分布

名称	记号	概率密度函数	均值	方差	特征函数
均匀分布	$U(a,b)$	${\displaystyle \frac{1}{b-a}},x\in [a,b]$	${\displaystyle \frac{a+b}{2}}$	${\displaystyle \frac{(b-a{)}^2}{12}}$	${\displaystyle \frac{{\mathrm{e}}^{jtb}-{\mathrm{e}}^{jta}}{jt(b-a)}}$
指数分布	$Exp(\lambda )$	$\lambda {\mathrm{e}}^{-\lambda t},x>0$	${\displaystyle \frac{1}{\lambda }}$	${\displaystyle \frac{1}{{\lambda }^2}}$	${\displaystyle \frac{\lambda }{\lambda -jt}}$
正态分布	$N(\mu ,{\sigma }^2)$	${\displaystyle \frac{1}{\sqrt{2\pi }\sigma }}\exp (-{\displaystyle \frac{(x-\mu {)}^2}{2{\sigma }^2}})$	$\mu$	$\sigma$	$\exp (jt\mu -{\displaystyle \frac{1}{2}}{\sigma }^2{t}^2)$
卡方分布	${\chi }^2(n)$	$\sum _{i=1}^n{X}_i^2,X_i\sim N(0,1)$	$n$	$2n$
t 分布	$t(n)$	${\displaystyle \frac{X_1}{\sqrt{X_2/n}}},X_1\sim N(0,1),X_2\sim {\chi }^2(N)$
F 分布	$F(m,n)$	${\displaystyle \frac{X_1/m}{X_2/n}},X_1\sim {\chi }^2(m),X_2\sim {\chi }^2(n)$

多元正态分布

多元正态分布接受两个参数：均值向量 $\mathit{\mu }$ 和协方差矩阵 $\mathbf{\Sigma }$，它的密度函数为

$$f(\mathit{x};\mathit{\mu },\mathbf{\Sigma })={\displaystyle \frac{1}{\sqrt{det(2\pi \mathrm{\Sigma })}}}\exp (-{\displaystyle \frac{1}{2}}(\mathit{x}-\mathit{\mu }{)}^T{\mathrm{\Sigma }}^{-1}(\mathit{x}-\mathit{\mu }))$$

其中

• $\mathit{x}$是变量向量，维数是 $d$
• $\mathit{\mu }$是均值向量，维数是 $d$
• $\mathbf{\Sigma }$是正定对称矩阵，维数是 $d\times d$

[!note]

1. 注意，系数上的行列式，在计算时矩阵前方的系数实际上还要再做$d$次幂运算。
2. 由于协方差矩阵是正定的，因此它一定是非奇异的。

特别地，随机变量 $(X,Y)$ 服从二元正态分布，记作 $(X,Y)\sim N({\mu }_1,{\mu }_2;{\sigma }_1^2,{\sigma }_2^2;\theta )$，$\theta$表示两个变量之间的相关系数。

从线性变换的角度看多元正态分布

零均值多元正态分布 $N(\mathbf{0},\mathbf{\Sigma })$可以看做标准多元正态分布 $N(\mathbf{0},\mathit{E})$ 做线性变换得到的，其中$\mathit{E}$是单位矩阵。

设随机变量向量 $\mathit{X}\sim N(\mathbf{0},\mathit{E})$.

对 $\mathit{X}$ 做倍乘变换再做正交变换 $Y=\mathit{B}\mathit{A}\mathit{X}$，$\mathit{A}$是对角矩阵，且 ${\mathit{A}}^2=\mathbf{\Lambda }$，$\mathit{B}$是正交矩阵，有 $\mathit{X}=(\mathit{B}\mathit{A}{)}^{-1}\mathit{Y}$，且${\mathit{B}}^T={\mathit{B}}^{-1}$.

容易知道任意线性变换都可由$\mathit{B}\mathit{A}$表出。

经过倍增变换，协方差矩阵变为 $\mathbf{\Lambda }$. 正交变换不改变协方差行列式的值。

代入概率密度公式，有

$$\begin{array}{rl}f(\mathit{y})& ={\displaystyle \frac{1}{\sqrt{2^d{\pi }^{d}det(\mathbf{\Lambda })}}}\exp (-{\displaystyle \frac{1}{2}}((\mathit{B}\mathit{A}{)}^{-1}\mathit{y}{)}^T(\mathit{B}\mathit{A}{)}^{-1}\mathit{y}))\\ & ={\displaystyle \frac{1}{\sqrt{2^d{\pi }^{d}det(\mathbf{\Lambda })}}}\exp (-{\displaystyle \frac{1}{2}}{\mathit{y}}^T(\mathit{B}{\mathbf{\Lambda }}^{-1}{\mathit{B}}^{-1})\mathit{y})\end{array}$$

根据线性代数知识 $det(\mathit{B}{\mathit{A}}^{-2}{\mathit{B}}^{-1})=det(\mathbf{\Lambda }{)}^{-1}$

根据对称矩阵的性质，只要协方差矩阵与$\mathbf{\Lambda }$拥有相同的特征值（它的特征值即对角元），即可化为该形式。

因此可以得到结论，协方差矩阵的特征值决定随机变量的尺度，而均值向量决定随机变量的位置。

本节参考

知乎 - Xinyu Chen的回答

MATLAB官方文档

边际分布和多维随机变量的独立性

多维随机变量的分布函数，当其中的一个或几个变量趋于无穷后，可以得到剩余变量的联合边际分布函数。

以二维随机变量$(X,Y)$为例，其联合分布函数为$F(x,y)$，则$X$的边际分布为

$$F_X(x)=\underset{y\to +\mathrm{\infty }}{lim}F(x,y)$$

在离散场合，可以类似得到。

边际密度函数，只需要把上述的分布函数换成概率密度函数并相应积分，还是以二维随机变量为例

$$p_X(x)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}p(x,y)\mathrm{d}y$$

在涉及多维随机变量的积分时，要注意积分区域的确定。

多维随机变量的独立性

多维随机变量$X_1,X_2,\cdots ,X_n$的联合分布函数为$F(x_1,x_2,\cdots ,x_n)$，边际分布为$F_i(x_i)$，如果有

$$F(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^n{F}_i(x_i)$$

则称$X_1,X_2,\cdots ,X_n$相互独立。

连续时，可以转化为密度函数

$$p(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^n{p}_i(x_i)$$

由此可以知道独立的随机变量积的期望等于期望的积，即

$$E(XY)=E(X)E(Y)$$

在更多维度的条件下也可以给出类似的结论。

并且由上面的性质可以得到独立的随机变量一定不相关（协方差为 0），注意，反之不一定成立，独立是比不相关更强的条件。

卷积

卷积是计算两随机变量分布和的方法。

离散情况

$$P(X+Y=k)=\sum _{i=-\mathrm{\infty }}^{+\mathrm{\infty }}P(X=i,Y=k-i)$$

连续情况

$$P(X+Y<t)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(s,t-s)\mathrm{d}s$$

当 $X,Y$ 独立时，有

$$P(X+Y<t)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(s)g(t-s)\mathrm{d}s$$

卷积运算是一个算子，通过两个函数生成第三个函数，记作

$$(f\circ g)(x)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(s)g(x-s)\mathrm{d}s$$

随机变量序列的两种收敛

假设随机变量序列$\{X_n\}$的分布函数序列为$\{F_n(x)\}$，$X$为任意给定的随机变量。

依概率收敛

$$\mathrm{\forall }ϵ>0,\underset{n\to \mathrm{\infty }}{lim}P(|X_n-X|\ge ϵ)=0$$

记作$X_n\stackrel{P}{⟶}X$

按分布收敛

$$\underset{n\to \mathrm{\infty }}{lim}{F}_n(x)=F(x)$$

记作$X_n\stackrel{L}{⟶}X$

性质

依概率收敛强于按分布收敛。并且依概率收敛可以推出按分布收敛。

在$X$服从退化分布时，二者是等价的，即

$$X_n\stackrel{P}{⟶}c⟺X_n\stackrel{L}{⟶}c$$

特征函数

$$\phi (t)=E({\mathrm{e}}^{itX})=\int {\mathrm{e}}^{itx}\mathrm{d}F(x)$$

称为随机变量的特征函数。

常见分布的特征函数列在了上面的表格里。

特征函数有如下性质：

1. $|\phi (t)|\le \phi (0)=1$
2. $\phi (-t)=\overline{\phi (t)}$
3. 若$Y=aX+b$，则
   $${\phi }_Y(t)={\mathrm{e}}^{ibt}{\phi }_X(at)$$

4. 若随机变量$X,Y$独立，则
   $${\phi }_{X+Y}(t)={\phi }_X(t){\phi }_Y(t)$$

5. ${\phi }^{(0)}(t)=i^{k}E(X^k)$，可以通过这个性质求随机变量的各阶原点矩（如果存在），进而求出中心矩。
6. 特征函数和分布函数相互唯一确定。

大数定律

大数定律告诉我们在伯努利实验中频率依概率收敛到概率，即频率的回归性。同时也提供了经验分布函数和矩估计的理论依据。

大数定律的形式

假设$\{X_n\}$为一组期望存在的随机变量序列，$\bar{X}$为它们的平均数。有

$$\bar{X}\stackrel{P}{⟶}{\displaystyle \frac{1}{n}}\sum _{i=1}^{n}E(X_i)$$

或按书本上的形式

$$\underset{n\to \mathrm{\infty }}{lim}P(|{\displaystyle \frac{1}{n}}\sum _{i=1}^n{X}_i-{\displaystyle \frac{1}{n}}\sum _{i=1}^{n}E(X_i)|<\epsilon )=1$$

几个大数定律的前提

1. 伯努利大数定律

   $\{X_n\}$独立同分布且服从两点分布$B(1,p)$

   此时大数定律表述为

   $$\bar{X}\stackrel{P}{⟶}p$$

   也就是说，频率依概率收敛到概率（在伯努利实验中，平均数就是实验成功的频率）。

2. 切比雪夫大数定律

   $\{X_n\}$两两不相关，每个$X_i$的方差存在。

3. 马尔可夫大数定律

   $$\underset{n\to \mathrm{\infty }}{lim}{\displaystyle \frac{1}{n^2}}Var(\sum _{i=1}^n{X}_i)=0$$

4. 辛钦大数定律

   $X_i$独立同分布，假设它们的数学期望为$EX$，那么大数定律又可以表述为

   $$\bar{X}\stackrel{P}{⟶}EX$$

辛钦大数定律

由辛钦大数定律可以得出，如果独立同分布的随机变量序列$\{X_n\}$的k阶原点矩存在，那么随机变量序列$\{X_n^k\}$也服从大数定律。在数理统计中，这给了我们矩估计的理论依据。

中心极限定理

中心极限定律告诉我们独立随机变量和的分布收敛于正态分布。

多个误差的叠加可以认为服从正态分布，因此，正态分布是很多统计方法中的先验分布。

林德伯格-莱维中心极限定理

如果随机变量序列$\{X_n\}$独立同分布，$E{X}_i=\mu ,Var{X}_i={\sigma }^2$，记

$$Y_n^{\ast }={\displaystyle \frac{\sum _{i=1}^n(X_i-\mu )}{\sqrt{n}\sigma }}$$

则 $Y_n^{\ast }\stackrel{L}{⟶}N,N\sim N(0,1)$

棣莫弗-拉普拉斯中心极限定理

$X_n\sim B(n,p),q=1-p$，记

$$Y_n^{\ast }={\displaystyle \frac{X_n-np}{\sqrt{npq}}}$$

则 $Y_n^{\ast }\stackrel{L}{⟶}N,N\sim N(0,1)$

棣莫弗-拉普拉斯中心极限定理是林德伯格-莱维中心极限定理的一个特殊情况，但是非常重要，因为它告诉我们当n足够大时，可以用来正态分布近似计算二项分布（当n很大时，计算是非常困难的，因为涉及到n的阶乘和n的指数运算）。

教科书的经验公式提出

1. 在$p$较小时，用泊松分布近似较好
2. 在$np>5,nq>5$时，用正态分布近似较好

林德伯格中心极限定理

如果独立的随机变量序列$\{X_n\}$满足林德伯格条件，那么

$${\displaystyle \frac{1}{B}}\sum _{i=1}^n(X_i-{\mu }_i)\stackrel{L}{⟶}N,N\sim N(0,1)$$

其中

1. $B=\sqrt{\sum _{i=1}^{n}Var(X_i)}$
2. ${\mu }_i=E{X}_i$

由于林德伯格条件比较繁杂，而且在实际的应用上较难验证，在此不赘述，感兴趣的读者可以移步至MathWorld查看。

李雅普诺夫中心极限定理

$\mathrm{\exists }\delta >0,s.t.$

$$\underset{n\to \mathrm{\infty }}{lim}{\displaystyle \frac{1}{B^{2+\delta }}}\sum _{i=1}^{n}E({|X_i-{\mu }_i|}^{2+\delta })=0$$

则

$${\displaystyle \frac{1}{B}}\sum _{i=1}^n(X_i-{\mu }_i)\stackrel{L}{⟶}N,N\sim N(0,1)$$

其中

1. $B=\sqrt{\sum _{i=1}^{n}Var(X_i)}$
2. ${\mu }_i=E{X}_i$

这两个有关非同分布的中心极限定理理论指导意义比较大，而（在本科阶段）应用较少。

---

1. https://zhuanlan.zhihu.com/p/36270529 ↩︎