【笔记】概率论复习

常用分布列

名称	分布列/密度函数	期望	方差
二项分布 $B(n,p)$	$P(X=k)=\binom{n}{k}p^k(1-p)^{n-k}$	$np$	$np(1-p)$
超几何分布		$nM/N$
几何分布	$P(X=k)=(1-p)^kp$	$\frac{1}{p}$	$\frac{1-p}{p^2}$
负二项分布
Poisson 分布 $\operatorname{Poi}(\lambda)$	$P(X=k)=\frac{\lambda^k e^{-\lambda}}{k!}$	$\lambda$	$\lambda$
均匀分布 $U(a,b)$	$f(x)=\frac{b-a}{12}$	$\frac{a+b}{2}$	$\frac{(a-b)^2}{12}$
指数分布 $\mathcal{E}(\lambda)$	$f(x)=\lambda e^{-\lambda x}$	$\frac{1}{\lambda}$	$\frac{1}{\lambda^2}$
正态分布 $N(\mu,\sigma^2)$	$f(x) = \frac{1}{\sigma\sqrt{2\pi}}e^{-(x-\mu)^2/ 2\sigma^2}$	$\mu$	$\sigma^2$
标准 Cauchy 分布	$f(x) = \frac{1}{\pi(1+x^2)}$	/	/

事实上，Poisson 分布，正态分布、Cauchy 分布都有可加性。

---

复合随机变量的密度函数计算

例：$X \sim N(0,1)$，$Y = X^2$，求 $Y$ 的密度函数 $f_Y(y)$

先求分布函数再求导

$$F(y) = P(X^2 \le y)= P(X \le \sqrt{y}) - P(X< -\sqrt{y}) \\ =\int_{-\infty}^\sqrt{y} \varphi(u) du - \int_{-\infty}^{-\sqrt{y}}\varphi(u) du\\ = \varphi(\sqrt y)(\sqrt {y})' - \varphi(-\sqrt y)(-\sqrt y)'$$

---

Chebyshev 不等式

设 $X$ 为随机变量，且 $\alpha$ 阶矩存在，则 $\forall \epsilon > 0$ 有

$$P(|X-EX| \ge \epsilon) \le \frac{E(|X-EX|^\alpha)}{\epsilon^\alpha}$$

特别地 $\alpha = 2$ 时

$$P(|X-EX| \ge \epsilon) \le \frac{DX}{\epsilon^2}$$

---

二维正态分布

$$f(x,y) = \frac{1}{2\pi \sigma_1\sigma_2 \sqrt{1-\rho^2}}\\ \times \exp \left(\frac{1}{2(1-\rho^2)}[(\frac{x-\mu_1}{\sigma_1})^2+(\frac{y-\mu_2}{\sigma^2})^2 - 2\rho \frac{x-\mu_1}{\sigma_1} \frac{y-\mu_2}{\sigma_2}] \right)$$

其中 $|\rho| < 1$ 是相关系数（标准化后的协方差）

---

联合分布

---

协方差

$\operatorname{Cov}(X,Y) = E((Y-EY)(X-EX))=E(XY)-E(X)E(Y)$

正相关、负相关、不相关。

独立一定不相关，但反过来不一定。

$D(X) = \operatorname{Cov}(X,X)$

$$\operatorname{Cov}\left(\sum_{k=1}^{n} a_kX_k ,\sum_{j=1}^m b_jY_j\right) = \sum_{k=1}^{n}\sum_{j=1}^{m} a_kb_j\operatorname{Cov}(X_k,Y_j)$$

协方差矩阵是半正定矩阵。

---

PGF

$$G_X(s) = E(s^X) = \sum_{k=0}^{\infty} s^k p_k$$

• $G_X(1) = 1$
• $G'_X(1) = E(X)$
• 和分布列一一对应

---

特征函数

$$\psi_X(t) = E(e^{itX}) = E\cos(tX)+iE\sin(tX)$$

• $\psi$ 关于 $t$ 一致连续

• $\dfrac{\psi_X^{(k)}(0)}{i^k}= E(X^k)$

• 独立的变量相加，特征函数相乘。

特殊函数的特征函数

• 正态分布 $\exp(i\mu t - \frac{\sigma^2}{2}t^2)$

---

大数定律

• 弱大数：均值依测度收敛到某个值。
  • 如果 $\operatorname{Cov}(X_i,X_j)\le 0$（$i\ne j$） 且 $\frac{1}{n^2}\sum_{i=1}^{n}DX_i \to 0$，那么 $X_i-EX_i$ 服从弱大数定律
  • 如果独立同分布且方差有限，那么服从弱大数定律。
• 强大数：均值几乎处处收敛到某个值。
  • （Kolmogorov）如果 $X_n$ 独立且 $\sum_{n=1}^{\infty}\frac{DX_n}{n^2} < \infty$，那么 $X_i-EX_i$ 服从强大数定律
  • 如果独立同分布且期望有限，那么 $X_i$ 服从强大数定律。

---

中心极限定理

$X_k$ 独立同分布，方差期望存在，则

$$\lim_{n\to+\infty} P\left(\frac{1}{\sigma \sqrt{n}}\sum_{k=1}^n (X_k-\mu) \le x\right) = \Phi (x)$$

一般证明都用特征函数趋近证明。

记 $B_n^2 = \sum_{k=1}^{n} \sigma_k^2$

• Lindeberg 条件

$\forall \tau > 0$

$$\lim_{n\to +\infty} \frac{1}{B^2_n} \sum_{k=1}^n E\left((X_k-\mu_k)^2I_{\{|X_k-\mu_k| \ge \tau B_n\} }\right) = 0$$

• Lyapunov 条件

$\exist \delta > 0$ s.t.

$$\lim_{n \to +\infty} \frac{1}{B_n^{2+\delta}} \sum_{k=1}^{n} E(|X_k-\mu_k|^{2+\delta}) = 0$$

---

收敛

若 $X_n\to^d X$，$Y_n \to^p a$，$b_n\to b$ 则

• $b_nX_n+Y_n \to_d bX+a$
• $X_nY_n \to^p 0$（$a=0$）
• $X_nY_n \to ^d Xa$（$a\ne 0$）
• $X_n/Y_n \to^d X/a$