Chapter 1

• 一个概率函数 $P$ 是一个从全体事件集合 $\Omega$ 到 $\mathbb{R}$ 的映射，满足：

  1. $\forall A$, $\mathbb{P}(A)\ge 0$
  2. $\mathbb{P}(\Omega)=1$
  3. 对任意两两不相交的事件集合 $A_1,A_2,\cdots,A_k$，$\mathbb{P}(\cup_{i=1}^kA_i)=\sum\limits_{i=1}^k\mathbb{P}(A_i)$。

• 称两事件 $A,B$ 互相独立，当且仅当 $\mathbb{P}(AB)=\mathbb{P}(A)\mathbb{P}(B)$。

• 若 $A,B$ 为两事件，其中 $\mathbb{P}(B)>0$，则定义条件概率 $\mathbb{P}(A|B)=\dfrac{\mathbb{P}(AB)}{\mathbb{P}(B)}$，其实际含义为已知 $B$ 发生时 $A$ 发生的概率。

• 若 $A_1,A_2,\cdots,A_k$ 为 $\Omega$ 的一组划分，则对任意事件 $B$，都有 $\mathbb{P}(B)=\sum\limits_{i=1}^k\mathbb{P}(B|A_i)\mathbb{P}(A_i)$。

• Bayes 公式：若 $A_1,A_2,\cdots,A_k$ 为 $\Omega$ 的一组划分，满足 $\forall 1\le i\le k,\mathbb{P}(A_i)>0$，$B$ 为一满足 $\mathbb{P}(B)>0$ 的事件，则 $\mathbb{P}(A_i|B)=\dfrac{\mathbb{P}(B|A_i)\mathbb{P}(A_i)}{\sum_j\mathbb{P}(B|A_j)\mathbb{P}(A_j)}$。

Chapter 2

• 对于随机变量 $X$，定义其 CDF $F_X(x)=\mathbb{P}(X\le x)$。

• 若 $F$ 为一 $\mathbb{R}\to[0,1]$ 的映射，则 $F$ 是某随机变量的 CDF 当且仅当：

  1. $\forall x_1<x_2,F(x_1)\le F(x_2)$。
  2. $\lim\limits_{x\to-\infty}F(x)=0,\lim\limits_{x\to+\infty}F(x)=1$。
  3. $\forall x,F(x)=F(x^+)$。

• 称一随机变量 $X$ 为离散型随机变量，当且仅当其可能的取值只有有限种或者可数无穷多种。对离散型随机变量而言，定义其 probability mass function $f_X(x)=\mathbb{P}(X=x)$。

• 称一随机变量 $X$ 为连续型随机变量，当且仅当存在函数 $f_X(x)$，满足 $\int_{-\infty}^{+\infty}f_X(x)\mathrm dx=1$，且 $\forall a\le b$，都有 $\mathbb{P}(a<X<b)=\int_a^bf_X(x)\mathrm dx$。这一函数 $f_X(x)$ 被称为其 probability density function。$\forall x\in\mathbb{R}$，都有 $f_X(x)=F'_X(x)$。

• 常见的离散型概率分布：

  • 点质量分布（point mass distribution）：随机变量 $X\sim\delta_a$，当且仅当 $\mathbb{P}(X=a)=1$，此时其 CDF 为 $F(x)=\begin{cases}0&x<a\\1&x\ge a\end{cases}$。
  • 离散均匀分布（discrete uniform distribution）：称随机变量 $X$ 服从 $\{1,2,3,\cdots,k\}$ 上的离散均匀分布，当且仅当 $\mathbb{P}(X=i)=\dfrac{1}{k}(i\in\{1,2,3,\cdots,k\})$。
  • 伯努利分布（Bernoulli distribution）：给定参数 $p\in[0,1]$，随机变量 $X\sim\text{Bernouli}(p)$，当且仅当 $\mathbb{P}(X=1)=p,\mathbb{P}(X=0)=1-p$，其中 $p\in[0,1]$。
  • ‌二项分布（binomial distribution）：给定参数 $n\ge 0,p\in[0,1]$，随机变量 $X\sim\text{Binomial}(n,p)$，当且仅当 $\mathbb{P}(X=x)=\dbinom{n}{x}p^x(1-p)^{n-x}$，其中 $0\le x\le n$，其组合意义为掷 $n$ 次正面朝上概率为 $p$ 的硬币，正面朝上的次数的概率分布。伯努利分布可以视作 $n=1$ 的二项分布。若 $X_1\sim\text{Binomial}(n_1,p),X_2\sim\text{Binomial}(n_2,p)$，则 $X_1+X_2\sim\text{Binomial}(n_1+n_2,p)$。
  • 几何分布（geometric distribution）：给定参数 $p\in[0,1]$，随机变量 $X\sim\text{Geom}(p)$，当且仅当 $\mathbb{P}(X=k)=p(1-p)^{k-1}$，其中 $k\ge 1$。其组合意义为掷正面朝上概率为 $p$ 的硬币，第一次掷到正面的时刻的概率分布。
  • 泊松分布（poisson distribution）：给定参数 $\lambda$，随机变量 $X\sim\text{Poisson}(\lambda)$，当且仅当 $\mathbb{P}(X=x)=e^{-\lambda}\dfrac{\lambda^x}{x!}$。若 $X_1\sim\text{Poisson}(\lambda_1),X_2\sim\text{Poisson}(\lambda_2)$，则 $X_1+X_2\sim\text{Poisson}(\lambda_1+\lambda_2)$。

• 常见的连续性概率分布：

  • 均匀分布（uniform distribution）：对于 $[a,b]$ 上的均匀分布，其概率密度函数满足 $f(x)=\dfrac{1}{b-a}$，其中 $x\in[a,b]$。

  • 正态分布（normal distribution）：给定参数 $\mu,\sigma$，若 $X$ 服从期望为 $\mu$，方差为 $\sigma^2$ 的正态分布，则其概率密度函数满足 $f(x)=\dfrac{1}{\sigma\sqrt{2\pi}}\exp(-\dfrac{1}{2\sigma^2}(x-\mu)^2)$，记作 $X\sim N(\mu,\sigma^2)$。

    称 $\mu=0,\sigma=1$ 的正态分布为标准正态分布。若 $X$ 服从期望为 $\mu$，方差为 $\sigma^2$ 的正态分布，则 $\dfrac{X-\mu}{\sigma}$ 服从标准正态分布。若 $X_i\sim N(\mu_i,\sigma^2_i)$，则 $\sum\limits_{i=1}^nX_i\sim(\sum\limits_{i=1}^n\mu_i,\sum\limits_{i=1}^n\sigma^2_i)$。

  • ‌指数分布（exponential distribution）：给定参数 $\beta>0$，若 $X\sim\text{Exp}(\beta)$，则其概率密度函数 $f(x)=\dfrac{1}{\beta}e^{-\frac{x}{\beta}}$，其中 $x>0$。

  • Gamma 分布（Gamma distribution）：给定参数 $\alpha,\beta>0$，若 $X\sim\text{Gamma}(\alpha,\beta)$，则其概率密度函数 $f(x)=\dfrac{1}{\beta^{\alpha}\Gamma(\alpha)}x^{\alpha-1}e^{-\frac{x}{\beta}}$，其中 $\Gamma(\alpha)=\int_0^{\infty}y^{\alpha-1}e^{-y}\mathrm dy$。

  • Beta 分布（Beta distribution）：给定参数 $\alpha,\beta>0$，若 $X\sim\text{Beta}(\alpha,\beta)$，则其概率密度函数 $f(x)=\dfrac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}$。

• CDF/PDF 还可以扩展到多维的情况。marginal mass function 是对多维的 probability mass function 投到某一维的结果。同理有 marginal density function。

• 称两个随机变量 $X,Y$ 独立，当且仅当 $\forall A,B$，都有 $\mathbb{P}(X\in A,Y\in B)=\mathbb{P}(X\in A)\mathbb{P}(Y\in B)$。若 $X,Y$ 都是连续变量，这等价于 $\forall x,y$，都有 $f(x,y)=f_X(x)f_y(y)$，其中 $f,f_X,f_Y$ 分别表示 $x,y$ 的 joint distribution、$x$ 自身、$y$ 自身的 PDF。

• 称若干变量 IID，当且仅当仅当他们服从同一概率分布且互相独立。

• 给定变量 $X$，若变量 $Y=r(x)$，则对于某一 $y$ 找出 $A_y=\{x|r(x)\le y\}$，算出 $\int_{A_y}f_X(x)\mathrm dx$ 即可算出 $Y$ 的概率分布。

Chapter 3

• 对于随机变量 $X$，定义其期望为 $\sum_xxf(x)$（离散变量）或 $\int xf(x)\mathrm dx$（连续变量），其中 $f(x)$ 为其 PMF 或者 PDF。

• The Rule of Lazy Statistician：对于 $Y=r(X)$，则 $\mathbb{E}(Y)=\mathbb{E}(r(X))=\int r(x)f(x)\mathrm dx$，不必算出 $Y$ 的概率分布再积分。

• 若 $X_1,X_2,\cdots,X_n$ 为随机变量，$a_i\in\mathbb{R}$，则 $\mathbb{E}(\sum\limits_{i=1}^na_iX_i)=\sum\limits_{i=1}^na_i\mathbb{E}(x_i)$。

• 若 $X_1,X_2,\cdots,X_n$ 互相独立，则 $\mathbb{E}(\prod\limits_{i=1}^nX_i)=\prod\limits_{i=1}^n\mathbb{E}(X_i)$。

• 若随机变量 $X$ 的期望为 $\mu$，则定义其方差 $\mathbb{V}(X)=\sigma^2=\mathbb{E}((X-\mu)^2)=\int(x-\mu)^2f(x)\mathrm dx$，其标准差定义为方差的算术平方根。

  • $\mathbb{V}(X)=\mathbb{E}(X^2)-\mu^2$。
  • 若 $a,b$ 为常数则 $\mathbb{V}(aX+b)=a^2\mathbb{V}(X)$。
  • 若 $X_1,X_2,\cdots,X_n$ 互相独立且 $a_1,a_2,\cdots,a_n$ 为常数，则 $\mathbb{V}(\sum\limits_{i=1}^na_iX_i)=\sum\limits_{i=1}^na_i^2\mathbb{V}(X_i)$。

• 若随机变量 $X,Y$，期望分别为 $\mu_X,\mu_Y$，标准差分别为 $\sigma_X,\sigma_Y$。则定义他们的协方差 $\text{Cov}(X,Y)=\mathbb{E}((X-\mu_X)(Y-\mu_Y))$，相关系数 $\rho_{X,Y}=\dfrac{\text{Cov}(X,Y)}{\sigma_X\sigma_Y}$。

• 对任意 $X,Y$，都有 $-1\le\rho_{X,Y}\le 1$。若 $X,Y$ 独立则 $\text{Cov}(X,Y)=0$。

• 若 $Y=aX+b$，则若 $a>0$ 则 $\rho_{X,Y}=1$，若 $a<0$ 则 $\rho_{X,Y}=-1$。

  证明：$\text{Cov}(X,Y)=\mathbb{E}(XY)-\mu_X\mu_Y=\mathbb{E}(X(aX+b))-\mu_X(a\mu_X+b)=a\mathbb{E}(X^2)-a\mu^2_X=a\mathbb{V}(X)$，$\rho_{X,Y}=\dfrac{a\mathbb{V}(X)}{\sigma_X·\sigma_Y}=\dfrac{a\mathbb{V}(X)}{\sigma_X·|a\sigma_X|}=\text{sgn}(a)$。

• $\mathbb{V}(X+Y)=\mathbb{V}(X)+\mathbb{V}(Y)+2\text{Cov}(X,Y),\mathbb{V}(X-Y)=\mathbb{V}(X)+\mathbb{V}(Y)-2\text{Cov}(X,Y)$。更一般地，$\mathbb{V}(\sum a_iX_i)=\sum\limits_{i=1}^n\sum\limits_{j=1}^na_ia_j\text{Cov}(X_i,X_j)$。

  证明：$\mathbb{V}(\sum a_iX_i)=\mathbb{E}((\sum a_iX_i)^2)-(\sum a_iE(X_i))^2=\sum\limits_{i=1}^n\sum\limits_{j=1}^na_ia_j(\mathbb{E}(X_iX_j)-\mathbb{E}(X_i)\mathbb{E}(X_j))=\sum\limits_{i=1}^n\sum\limits_{j=1}^na_ia_j\text{Cov}(X_i,X_j)$。

• 常见概率分布的期望和方差：

  

• 对随机变量 $X$ 而言，定义其矩量生成函数（moment generating function）为 $\psi_X(t)=\mathbb{E}(e^{tX})=\int e^{tx}f(x)\mathrm dx$。若 $\psi_X(t)$ 在 $t=0$ 的某个邻域中有定义且可微，则 $\psi'(0)=[\dfrac{\mathrm d}{\mathrm dt}\mathbb{E}e^{tx}]_{t=0}=\mathbb{E}[\dfrac{\mathrm d}{\mathrm dt}{e^{tx}}]_{t=0}=\mathbb{E}[Xe^{tX}]_{t=0}=\mathbb{E}[X]$，类似地可以归纳证明 $\psi^{(k)}(0)=\mathbb{E}[X^k]$。

• 互相独立的随机变量的和的 MGF 是它们各自的 MGF 之积。

• 若 $\psi_X(t)$ 和 $\psi_Y(t)$ 在 $t=0$ 的某个邻域中相等，则 $X,Y$ 有相同的概率分布。

• 常见概率分布的 MGF：

  

Chapter 4

• 马尔可夫不等式：设 $X$ 为取值非负的随机变量，$\mathbb{E}(X)$ 存在，则 $\forall t,\mathbb{P}(X>t)\le\dfrac{\mathbb{E}(X)}{t}$。

  证明：因为 $X$ 取值非负，故 $\mathbb{E}(X)\ge\mathbb{P}(X>t)t$。

• 切比雪夫不等式：设 $X$ 为随机变量，$\mu=\mathbb{E}(X)$，$\sigma^2=\mathbb{V}(X)$，则 $\mathbb{P}(|X-\mu|\ge t)\le\dfrac{\sigma^2}{t^2}$。

  证明：对 $(X-\mu)^2$ 使用马尔可夫不等式可得 $\mathbb{P}(|X-\mu|\ge t)=\mathbb{P}((X-\mu)^2\ge t^2)\le\dfrac{\sigma^2}{t^2}$。

• 柯西施瓦茨不等式：对方差有限的变量 $X,Y$，$\mathbb{E}(XY)\le\sqrt{\mathbb{E}(X^2)\mathbb{E}(Y^2)}$。

• 琴生不等式：对凸的 $g$，$\mathbb{E}(g(X))\ge g(\mathbb{E}(X))$。

• 霍夫丁不等式引理：对于随机变量 $X$，若 $\mathbb{P}(X\in[a,b])=1,\mathbb{E}(X)=0$，则 $\mathbb{E}(e^{sX})\le e^{\frac{s^2(b-a)^2}{8}}$。

  证明：因为 $e^{sX}$ 在 $X\in[a,b]$ 上为凸函数，故 $e^{sX}\le\dfrac{b-X}{b-a}e^{sa}+\dfrac{X-a}{b-a}e^{sb}$，两边同时求数学期望冰带入 $\mathbb{E}(X)=0$ 可得 $\mathbb{E}(e^{sX})\le\dfrac{b}{b-a}e^{sa}-\dfrac{a}{b-a}e^{sb}$。而 $\dfrac{b}{b-a}e^{sa}-\dfrac{a}{b-a}e^{sb}=\exp(sa+\ln(\dfrac{b}{b-a}-\dfrac{a}{b-a}e^{s(b-a)}))$。令 $h=s(b-a),p=-\dfrac{a}{b-a}$，则式子可以写作 $\exp(-hp+\ln(1-p+pe^h))$，考察 $L(h)=-hp+\ln(1-p+pe^h)$ 的上界，根据泰勒公式，$L(h)=L(0)+L'(0)h+\dfrac{L''(\xi)}{2}h^2$，其中 $\xi\in[0,h]$，而 $L''(h)=\dfrac{pe^h}{1-p+pe^h}(1-\dfrac{pe^h}{1-p+pe^h})\le\dfrac{1}{4}$，所以 $L(h)\le\dfrac{h^2}{8}$，$\mathbb{E}(e^{sX})\le e^{\frac{s^2(b-a)^2}{8}}$。

• 霍夫丁不等式：若 $X_1,X_2,\cdots,X_n$ 为互相独立的随机变量，$\mathbb{E}(X_i)=0$ 且 $a_i\le X_i\le b_i$，则对任意 $\epsilon,t>0$，都有 $\mathbb{P}(\sum\limits_{i=1}^nY_i\ge\epsilon)\le e^{-t\epsilon}\prod\limits_{i=1}^ne^{t^2(b_i-a_i)^2/8}$。

  证明：$\mathbb{P}(\sum\limits_{i=1}^nY_i\ge\epsilon)=\mathbb{P}(\prod\limits_{i=1}^ne^{tY_i}\ge e^{t\epsilon})\le e^{-t\epsilon}\prod\limits_{i=1}^ne^{tY_i}$，根据霍夫丁不等式引理，$e^{-t\epsilon}\prod\limits_{i=1}^ne^{tY_i}\le e^{-t\epsilon}\prod\limits_{i=1}^ne^{t^2(b_i-a_i)^2/8}$。

• 推论：若 $X_1,X_2,\cdots,X_n$ 为互相独立的随机变量，$\mathbb{E}(X_i)=0$ 且 $a_i\le X_i\le b_i$，则对任意 $\epsilon>0$，都有 $\mathbb{P}(\sum\limits_{i=1}^nY_i\ge\epsilon)\le\exp(-\dfrac{2\epsilon^2}{\sum\limits_{i=1}^n(b_i-a_i)^2})$。

  证明：考察函数 $g(t)=-\epsilon t+\sum\limits_{i=1}^n\dfrac{1}{8}t^2(b_i-a_i)^2$，令 $g'(t)=0$ 得 $t^*=\dfrac{4t}{\sum\limits_{i=1}^n(b_i-a_i)^2}$，$g(t^*)=-\dfrac{2\epsilon^2}{\sum\limits_{i=1}^n(b_i-a_i)^2}$，因此 $\mathbb{P}(\sum\limits_{i=1}^nY_i\ge\epsilon)\le\exp(-\dfrac{2\epsilon^2}{\sum\limits_{i=1}^n(b_i-a_i)^2})$。

• Mill 不等式：若 $X\sim N(0,1)$，则 $\mathbb{P}(|X|>t)\le\sqrt{\dfrac{2}{\pi}}·\dfrac{e^{-t^2/2}}{t}$。