概率论 期末复习

概率论 - 期末复习

跟概率空间相关的知识点（概率测度，波雷尔集等）可以全都忽略。

第一章

1. 随机事件 $A$ 发生的概率记作 $P(A)$。$A,B$ 同时发生记作 $AB$，$A$ 或 $B$ 发生记作 $A\cup B$，$A$ 不发生记作 $\bar{A}$，$P(\bar{A})=1-P(A)$。
2. 容斥原理：$P({\cup }_{i=1}^n{A}_i)=\sum _{k=1}^n(-1{)}^{k-1}\sum _{1\le i_1<\cdots <i_k\le n}P(A_{i_1}\dots A_{i_k})$。
3. 独立随机事件：$P(AB)=P(A)P(B)$。
4. 互斥随机事件：$P(AB)=0$。
5. 条件概率：$B$ 发生的条件下 $A$ 发生，记作 $A|B$。$P(AB)=P(B)P(A|B)$。
6. 全概率公式：设 $B_1,\dots ,B_n$ 两两互斥，则 $P(A)=\sum _{i=1}^{n}P(A|B_i)$。
7. 贝叶斯公式：已知 $P(B|A)$ 时算 $P(A|B)$ 用。$P(A|B)={\displaystyle \frac{P(A)P(B|A)}{P(B)}}={\displaystyle \frac{P(A)P(B|A)}{P(A)P(B|A)+P(\bar{A})P(B|\bar{A})}}$（按需用）

第二章（上）

1. 离散随机变量的分布列：$P(X=x_i)=p_i$，满足 $\sum _i{p}_i=1$。

2. 离散随机变量的独立性：$X$ 和 $Y$ 独立，如果 $P(X=a,Y=b)=P(X=a)P(Y=b),\mathrm{\forall }a,b$。$X_1,\dots ,X_N$ 独立，如果 $P(X_1=x_1,\dots ,X_N=x_N)=\prod _{i=1}^{N}P(X_i=x_i)$。

3. 两点分布：$P(X=a)=p,P(x=b)=1-p$。

4. 二项分布/伯努利分布：$n$ 次独立取样有 $k$ 次取中的概率，等价于 $n$ 个独立同分布的两点分布的和，记作 $X\sim B(n,p)$。

   • $P(X=k)={\displaystyle (\genfrac{}{}{0ex}{}{n}{k})}{p}^k(1-p{)}^{n-k},k=0,1,\dots ,n$。

   • $E(X)=np,Var(X)=np(1-p)$（二项式定理）

   • 二项分布对 $n$ 有可加性。

5. 泊松分布：记作 $X\sim P(\lambda )$。

   • $P(X=k)=e^{-\lambda }{\displaystyle \frac{{\lambda }^k}{k!}},k=0,1,\dots$。
   • $E(X)=\lambda ,Var(X)=\lambda$ （$e^x$ 泰勒展开）
   • 泊松分布对 $\lambda$ 有可加性。

6. 几何分布：独立取样直到取中结束，共取 $k$ 次的概率。

   • $P(X=k)=p(1-p{)}^{k-1},k=1,2,\dots$。
   • $E(X)=\frac{1}{p},Var(X)=\frac{1-p}{p^2}$（错位相减）

第二章（下）

1. 连续随机变量的分布函数：$F_X(x)=P(X<x)$。$F_X(-\mathrm{\infty })=0,F_X(+\mathrm{\infty })=1$，且 $F_X$ 连续。

   • 分布函数不仅限于连续随机变量，离散甚至混合型随机变量也可以定义。但此时 $F_X$ 右连续且在概率集中的点处间断。

2. 连续随机变量的密度函数：$p_X(x)=F_X^{\prime }(x)$，反之 $F_X(x)={\int }_{-\mathrm{\infty }}^x{p}_X(s)ds$。

3. 连续随机变量的变换：

   • $X=f(Y),p_Y(y)=p_X(f(y))|f^{\prime }(y)|$。
   • $Y=g(X),p_Y(y)=\sum _{g(x)=y}{p}_X(x)|g^{\prime }(x){|}^{-1}$。注意多对一情况，例如 $Y=X^2,p_Y(y)=\frac{p_X(\sqrt{y})+p_X(-\sqrt{y})}{2\sqrt{y}}$。

4. 多维连续随机变量的联合分布：$F_{X,Y}(x,y)=P(X<x,Y<y)$。更多维同理。

5. 多维连续随机变量的联合密度：$F_{X,Y}(x,y)={\int }_{-\mathrm{\infty }}^x{\int }_{-\mathrm{\infty }}^y{p}_{X,Y}(s,t)dsdt$。给分布一般导不出密度。

6. 多维连续随机变量的边际密度：把多余的变量都积掉，$p_X(x)={\int }_{\mathbb{R}}{p}_{X,Y}(x,y)dy$。$y$ 同理。

7. 多维连续随机变量的变换：

   • $X=f(U,V),Y=g(U,V),p_{U,V}(u,v)=p_{X,Y}(f(u,v),g(u,v))|det\frac{\partial (x,y)}{\partial (u,v)}|$
   • $U=f(X,Y),V=g(X,Y),p_{U,V}(u,v)=\sum _{f(x,y)=u,g(x,y)=v}{p}_{X,Y}(x,y)|det\frac{\partial (u,v)}{\partial (x,y)}{|}^{-1}$
   • 特别地，$Z=g(X,Y),p_Z(z)={\int }_{\mathbb{R}}\sum _{y,g(x,y)=z}{p}_{X,Y}(x,y)|z_y(x,y){|}^{-1}dx$（推导方法：变换为 $(X,Z)$）

8. 连续随机变量的独立性：$p_{X,Y}(x,y)=p_X(x)p_Y(y)$，多维同理。

9. 条件密度函数：$p_{X|Y}(x|y)=F_{X|Y}^{\prime }(x|y)=\frac{d}{dx}P(X<x|Y=y)$

10. $p_{X,Y}(x,y)=p_{X|Y}(x|y)p_Y(y)$

11. 均匀分布：记为 $X\sim U(a,b)$

    • $p_X(x)=\frac{1}{b-a}(a\le x\le b)$
    • $E(X)=\frac{a+b}{2},Var(X)=\frac{(b-a{)}^2}{12}$

12. 指数分布：记为 $X\sim Exp(\lambda )$

    • $p_X(x)=\lambda e^{-\lambda x}(x\ge 0)$
    • $E(X)={\lambda }^{-1},Var(X)={\lambda }^{-2}$
    • $Exp(\lambda )=\mathrm{\Gamma }(1,\lambda )$

13. 正态分布：记为 $X\sim N(\mu ,{\sigma }^2)$

    • $p_X(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$
    • $N(0,1)$ 的分布函数记为 $\mathrm{\Phi }(x)$（无初等表达形式）。
    • $E(X)=\mu ,Var(X)={\sigma }^2$
    • 正态分布的线性变换仍为正态分布，即 $aX+b\sim N(a\mu +b,a^2{\sigma }^2)$。
    • 正态分布相关的常用积分公式：${\int }_0^{+\mathrm{\infty }}{x}^n{e}^{-x^2}dx=\frac{1}{2}\mathrm{\Gamma }(\frac{n+1}{2})$（一般只需要 $n=0,1,2$）。

14. $\mathrm{\Gamma }$ 分布：记为 $X\sim \mathrm{\Gamma }(\alpha ,\lambda )$

    • $p_X(x)={\displaystyle \frac{{\lambda }^{\alpha }}{\mathrm{\Gamma }(\alpha )}}{x}^{\alpha -1}{e}^{-\lambda x}$
    • $E(X)={\displaystyle \frac{\alpha }{\lambda }},Var(X)={\displaystyle \frac{\alpha }{{\lambda }^2}}$（直接凑密度函数的积分）
    • 相同 $\lambda$ 的 $\mathrm{\Gamma }$ 分布对 $\alpha$ 有可加性

15. 卡方分布：$n$ 个独立同分布 $N(0,1)$ 的平方和。记为 $X\sim {\chi }^2(n)$

    • $p_X(x)={\displaystyle \frac{1}{2^n\mathrm{\Gamma }(\frac{n}{2})}}{x}^{\frac{n}{2}-1}{e}^{-\frac{x}{2}}$

    • $E(X)=n,Var(X)=2n$

    • ${\chi }^2(n)=\mathrm{\Gamma }({\displaystyle \frac{n}{2}},{\displaystyle \frac{1}{2}})$

    • 对 $n$ 有可加性

第三章

1. 离散随机变量的期望：$E(X)=\sum _i{x}_{i}P(X=x_i)$
2. 连续随机变量的期望：$E(X)={\int }_{\mathbb{R}}xp(x)dx$，注意：期望存在要求积分绝对收敛，即 ${\int }_{\mathbb{R}}|x|p(x)dx<+\mathrm{\infty }$
3. 期望线性性：$E(X+Y)=E(X)+E(Y),E(aX)=aE(X)$（不要求 $X,Y$ 独立或不相关）
4. 条件期望：$E(X|Y=y)=\sum _i{x}_{i}P(X=x_i|Y=y)={\int }_{\mathbb{R}}x{p}_{X|Y}(x|y)dx$
5. 全期望公式：$E(X)=E_Y(E_X(X|Y))$
6. 随机变量的方差：$Var(X)=E(X-E(X){)}^2=E(X^2)-E(X{)}^2$
7. 方差线性性：$Var(aX+b)=a^{2}Var(X),Var(X+Y)=Var(X)+2Cov(X,Y)+Var(Y)$。
8. $Var(X)=0$ 当且仅当 $X$ 为常数。
9. 随机变量的协方差：$Cov(X,Y)=E(XY)-E(X)E(Y)$
10. $Cov(X,Y+Z)=Cov(X,Y)+Cov(X,Z)$
11. 随机变量的相关系数：$r(X,Y)={\displaystyle \frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}}$
12. 随机变量的相关性：$X,Y$ 不相关如果 $Cov(X,Y)=0$。不相关也等价于 $E(XY)=E(X)E(Y)$。
13. 多个变量的协方差矩阵：$Cov(XX)=(Cov(X_i,X_j){)}_{d\times d}$
14. 多维正态分布：记为 $XX\sim N(\mu \mu ,\mathrm{\Sigma })\in {\mathbb{R}}^d$
    • $p_{XX}(xx)=(2\pi {)}^{-\frac{n}{2}}|\mathrm{\Sigma }{|}^{-\frac{1}{2}}\exp \{\frac{1}{2}(xx-\mu \mu {)}^T{\mathrm{\Sigma }}^{-1}(xx-\mu \mu )\}$
    • $E(XX)=\mu \mu ,Cov(XX)=\mathrm{\Sigma }$
    • 特别地，当 $d=2$ 时，也记 $(X_1,X_2)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,r)$。
      • $\mu \mu =\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right],\mathrm{\Sigma }=\left[\begin{array}{cc}{\sigma }_1^2& r{\sigma }_1{\sigma }_2\\ r{\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right]$
      • $p_{X_1,X_2}(x_1,x_2)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-r^2}}\exp [-\frac{1}{2(1-r^2)}(\frac{(x_1-{\mu }_1{)}^2}{{\sigma }_1^2}-\frac{2r(x_1-{\mu }_1)(x_2-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(x_2-{\mu }_2{)}^2}{{\sigma }_2^2})]$
      • $r=0$ 时，$X_1$ 与 $X_2$ 独立。
    • 多维正态分布的线性变换仍为正态分布：$AXX+bb\sim N(A\mu \mu +bb,A^T\mathrm{\Sigma }A)$
      • 实际上算这类题时直接算要求的随机变量的期望和方差然后写进 $N$ 里就行。
15. 随机变量的特征函数：${\phi }_X(t)=E{e}^{itX}$，特征函数可以唯一确定分布函数。
16. 特征函数的常用性质：
    • ${\phi }_{aX}(t)={\phi }_X(at)$
    • 若 $X,Y$ 独立，则 ${\phi }_{X+Y}(t)={\phi }_X(t){\phi }_Y(t)$。特别地，若 $X_1,\dots ,X_n$ 独立同分布，则 ${\phi }_{\sum _{i=1}^n{X}_i}(t)={\phi }_{X_1}(t{)}^n$。
    • $E{X}^k=i^{-k}{\phi }^{(k)}(0)$
17. 常见分布的特征函数
    • 两点（0，1）分布 $p{e}^{it}+q$
    • 二项分布 $(p{e}^{it}+q{)}^n$
    • 泊松分布 $e^{\lambda (e^{it}-1)}$
    • 正态分布 $e^{i\mu t-\frac{{\sigma }^2{t}^2}{2}}$
    • 几何分布 ${\displaystyle \frac{p{e}^{it}}{1-q{e}^{it}}}$
    • 均匀分布 ${\displaystyle \frac{e^{itb}-e^{ita}}{it(b-a)}}$
    • 指数分布 ${\displaystyle \frac{\lambda }{\lambda -it}}$
    • $\mathrm{\Gamma }$ 分布 $({\displaystyle \frac{\lambda }{\lambda -it}}{)}^{\alpha }$

第四章

1. 依分布收敛：记作 $X_n\stackrel{d}{\to }X$。称 $X_n$ 依分布收敛于 $X$ 如果 $\underset{n\to \mathrm{\infty }}{lim}{F}_{X_n}(x)=F_X(x)$（逐点收敛即可）

2. 中心极限定理：若 $X_1,\dots ,X_n$ 独立同分布，且 $E(X_i)=\mu <+\mathrm{\infty },Var(X_i)={\sigma }^2<+\mathrm{\infty }$，则

   $$S_n=\frac{\sum _{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }$$

   满足 $S_n\stackrel{d}{\to }N(0,1)$。

   • 中心极限定理常用于估计大量独立同分布变量之和小于（大于）某个给定值的概率。（需要查 $\mathrm{\Phi }$ 表）

3. 若 ${\phi }_{X_n}\to {\phi }_X$，则 $X_n\stackrel{d}{\to }X$。

4. 依概率收敛：记作 $X_n\stackrel{P}{\to }X$。称 $X_n$ 依概率收敛于 $X$ 如果对于任意 $ϵ$ 均有 $\underset{n\to \mathrm{\infty }}{lim}P(|X_n-X|>ϵ)=0$。

5. 均方收敛：记作 $X_n\stackrel{L^2}{\to }X$。称 $X_n$ 均方收敛于 $X$ 如果 $\underset{n\to \mathrm{\infty }}{lim}Var(X_n-X)=0$。

6. 若 $X_n\stackrel{d}{\to }c$，$c$ 为常数，则 $X_n\stackrel{P}{\to }c$。

7. 切比雪夫不等式：$P(|X_n-X|>ϵ)\le {\displaystyle \frac{Var(X_n-X)}{{ϵ}^2}}$。因此均方收敛→依概率收敛。

8. 辛钦大数定律：$X_1,X_2,\dots$ 独立同分布，$E{X}_i=\mu$，则 $\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{\to }\mu$。