概统期中复习

第一章

概率的公理化

样本空间 $S$，事件集合 $F$ 是 $S$ 的一个子集族，满足 $S\in F$；$A\in F\to \bar{A}\in F$；$A_i\in F\to {\cup }_i{A}_i\in F$。

概率是满足 $P(S)=1$（规范性）的测度，要求 $P(A)\ge 0$（非负性），$A_i{A}_j=\varnothing \to P({\cup }_i{A}_i)=\sum _{i}P(A_i)$（可列可加性）。

$(S,F,P)$ 称为概率空间。有限可加不等价于可列可加，反例：$S=[0,\mathrm{\infty })$，$A_i=[i-1,i)$，$P(A)=\underset{k\to \mathrm{\infty }}{lim}\lambda (A\cap (0,k))$，$\lambda$ 表示交集长度。

条件概率

$P(A)P(B|A)=P(AB)$，$P(B|A)$ 表示已知 $A$ 发生时 $B$ 发生的概率。

贝叶斯公式

$A_i{A}_j=\varnothing$，则 $P(A_i|B)=\frac{P(A_i)P(B|A_i)}{P(B)}=\frac{P(A_i)P(B|A_i)}{\sum _{j}P(A_j)P(B|A_j)}$。

独立事件

$P(AB)=P(A)P(B)$ 则 $A,B$ 独立。$A,B$ 独立则其补集之间也独立。

相互独立：对于任意事件子集 $U$，都满足 $P({\cap }_{U}A)=\prod _{U}P(A)$。相互独立，也可以把 $A_i$ 换为补集。

第二章

离散随机变量

• 两点分布：$P(X=0)=1-p,P(X=1)=p$。

  二项分布：$n$ 个两点分布（伯努利试验）中 $1$ 的个数，$P(X=k)=(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}$，$X\sim B(n,p)$。

  $P(X=k)$ 最大值取在 $\lfloor (n+1)p\rfloor$。

• 泊松分布：$P(X=k)=e^{-\lambda }\frac{{\lambda }^k}{k!}$，$X\sim \pi (\lambda )$。

  $P(X=k)$ 最大值取在 $\lfloor \lambda \rfloor$。

  可以看成二项分布 $n\to \mathrm{\infty },p\to \lambda /n$ 的结果。

  有可加性，两个独立的 $\pi (u)+\pi (v)=\pi (u+v)$。

• 几何分布：重复伯努利试验直到事件发生，此时失败次数的分布。$P(X=k)=p(1-p{)}^k$，$X\sim G(p)$。

  负二项分布（帕斯卡分布）：重复伯努利试验直到事件发生 $r$ 次，此时失败次数的分布。$P(X=k)=(\genfrac{}{}{0ex}{}{k+r-1}{r-1})p^r(1-p{)}^k$，$X\sim NB(r,p)$，这里 $G(p)=NB(1,p)$。

  无记忆性：$X\sim G(p)\to P(X>m+n|x>n)=P(X>m)$。

连续随机变量

分布函数 $F(x)=P(X\le x)$：非负单调右连续。

概率密度函数：若存在概率密度函数 $f$（非负，归一）满足 $F(x)={\int }_{-\mathrm{\infty }}^{x}f(x)\mathrm{d}x$，则称为连续随机变量。

若 $f$ 连续，则 $F^{\prime }=f$。

• 均匀分布 $U(a,b)$

• 指数分布：概率密度为 $f(x)=\{\begin{array}{l}\lambda e^{-\lambda x},x\ge 0\\ 0,x<0\end{array}$，$X\sim Exp(\lambda )$。

  无记忆性：$X\sim Exp(\lambda )\to P(X>m+n|X>n)=P(X>m)$。

  可以看成几何分布的极限：$n$ 次伯努利试验，$n\to \mathrm{\infty },p\to \lambda /n$，期望成功时间。

• $\mathrm{\Gamma }$ 分布：概率密度为 $f(x)=\{\begin{array}{l}{x}^{\alpha -1}{\lambda }^{\alpha }{e}^{-\lambda x}/\mathrm{\Gamma }(\alpha ),x\ge 0\\ 0,x<0\end{array}$，$X\sim \mathrm{\Gamma }(\alpha ,\lambda )$。

  $Exp(\lambda )$ 就是 $\mathrm{\Gamma }(1,\lambda )$。对于正整数 $n$，$\mathrm{\Gamma }(n)=(n-1)!$。$\mathrm{\Gamma }(\alpha )={\int }_0^{+\mathrm{\infty }}{x}^{\alpha -1}{e}^{-x}\mathrm{d}x$。

  可以看成负二项分布分布的极限：$n$ 次伯努利试验，$n\to \mathrm{\infty },p\to \lambda /n$，期望成功 $\alpha$ 次时间。

  可以看成 $\mathrm{\Gamma }$ 函数定义中换元 $x^{\prime }=\lambda x$ 的结果。

• 正态分布（高斯分布）：概率密度为 $f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-(x-\mu {)}^2/(2{\sigma }^2)}$，$X\sim N(\mu ,{\sigma }^2)$。

  $N(0,1)$（标准正态分布）分布函数称为 $\mathrm{\Phi }$。

• ${\chi }^2$ 分布：${\chi }^2(n)=\mathrm{\Gamma }(\frac{n}{2},\frac{1}{2})$，概率密度为 $f(x)=\{\begin{array}{l}\frac{1}{2^{n/2}\mathrm{\Gamma }(n/2)}{x}^{n/2-1}{e}^{-x/2},x\ge 0\\ 0,x<0\end{array}$。

  若 $X\sim N(0,1)$，则 $X^2\sim {\chi }^2(1)$。若 $n$ 个独立随机变量 $X_i\sim N(0,1)$，则 $\sum _i{X}_i\sim {\chi }^2(n)$。

  ${\chi }^2(n)$ 密度函数积分为 1 是一个常用公式：

  $${\int }_0^{\mathrm{\infty }}{x}^t{e}^{-x/2}\mathrm{d}x=2^{t+1}\mathrm{\Gamma }(t+1)$$

密度变换公式

$X$ 密度为 $f_X(x)$，$g(x)$ 严格单调，反函数 $h(y)$ 导数连续，则 $Y=g(X)$ 的密度为

$$f_Y(y)=f_X(h(y))\times |h^{\prime }(y)|$$

证明考虑分布函数求导。

第三章

边缘分布、条件分布

离散型随机向量 $(X,Y)$ 边缘分布 $p_{i\bullet }=P(X=x_i)$。条件分布 $P(X=x|Y=y)=\frac{P(X=x,Y=y)}{P(Y=y)}$。

分布函数：$F(\mathbf{x})=P(\mathbf{X}\le \mathbf{x})$。

连续性随机向量 $(X,Y)$ 边缘分布 $F_X(x)=F(x,\mathrm{\infty })$。条件分布 $F_{X|Y}(x|y)$（确定 $Y=y$，$X$ 的分布）为 $\underset{ϵ\to 0^{+}}{lim}\frac{X\le x,y<Y<y+ϵ}{P(y<Y<y+ϵ)}$，也就是右侧取极限。

联合概率密度：若存在概率密度函数 $f$（非负归一）满足 $F(\mathbf{x})={\int }_{-\mathrm{\infty }}^{\mathbf{x}}f(\mathbf{x})\mathrm{d}\mathbf{x}$，则 $\mathbf{x}$ 称为连续随机向量。若 $f$ 连续，则 $F^{\prime }=f$（对每一维依次求偏导）。

边缘概率密度可以用联合概率密度在某维积分表示。若边缘概率密度连续且 $>0$，则条件概率密度可以写成联合密度除以边缘密度。

二元正态分布（！！！）

随机向量 $(X,Y)$ 密度函数为

$$f(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\exp \left(\frac{-1}{2(1-{\rho }^2)}(\frac{(x-{\mu }_1{)}^2}{{\sigma }_1^2}+\frac{(y-{\mu }_2{)}^2}{{\sigma }_2^2}-2\rho \frac{(x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2})\right)$$

称服从 $N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$。

$X,Y$ 分别服从 $N({\mu }_1,{\sigma }_1^2)$，$N({\mu }_2,{\sigma }_2^2)$。

$Y=y$ 时，$X\sim N({\mu }_1+\rho \frac{{\sigma }_1}{{\sigma }_2}(y-{\mu }_2),(1-{\rho }^2){\sigma }_1^2)$。

独立性

若 $F_X(x)F_Y(y)=F(x,y)$ 总成立，则 $X,Y$ 独立。若 $f(x,y)=f_X(x)f_Y(y)$ 几乎处处成立（除去面积为 0 的区域），则 $X,Y$ 独立。

多元随机变量：若 $F(x_1,\dots ,x_n)=F_{X_1}(x_1)\dots F_{X_n}(x_n)$，则称 $x_1,\dots ,x_n$ 相互独立，强于两两独立。这里，$x_1,\dots ,x_n$ 也可以是随机向量。

若 $X,Y$ 相互独立，则 $f(X),g(Y)$ 也相互独立。

卷积公式

和的分布可以用卷积公式：$(X,Y)$ 服从 $f(x,y)$，则 $Z=X+Y$ 密度为 $f_Z(z)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x,z-x)\mathrm{d}x$。

常用结论：

• $B(n,p)+B(m,p)=B(m+n,p)$

• $\pi (n)+\pi (m)=\pi (n+m)$

• $NB(n,p)+NB(m,p)=NB(m+n,p)$

• $\mathrm{\Gamma }(n,\lambda )+\mathrm{\Gamma }(m,\lambda )=\mathrm{\Gamma }(n+m,\lambda )$

• ${\chi }^2(n)+{\chi }^2(m)={\chi }^2(n+m)$

  上述都可以结合组合意义理解。

• $N({\mu }_1,{\sigma }_1^2)+N({\mu }_2,{\sigma }_2^2)=N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$

  独立正态分布的线性组合还是正态分布。

商分布公式

设 $(X,Y)$ 服从 $f(x,y)$，则 $Z=X/Y$ 密度为 $f_Z(z)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}|y|f(yz,y)\mathrm{d}y$。

例：已知 $X\sim N(0,1)$，$Y\sim {\chi }^2(n)$，$X,Y$ 独立，求 $Z=X/\sqrt{Y/n}$ 密度。

解：$Y$ 密度为

$$f_Y(y)=\{\begin{array}{l}\frac{1}{2^{n/2}\mathrm{\Gamma }(n/2)}{y}^{n/2-1}{e}^{-y/2},y\ge 0\\ 0,y<0\end{array}$$

所以 $Y^{\prime }=\sqrt{Y/n}$ 密度为（反函数 $Y=n{Y}^{\prime 2}$）

$$f_Y^{\prime }(y)=\{\begin{array}{l}\frac{1}{2^{n/2}\mathrm{\Gamma }(n/2)}(n{y}^2{)}^{n/2-1}{e}^{-n{y}^2/2}\times 2ny,y\ge 0\\ 0,y<0\end{array}$$

由此得 $Z=X/Y^{\prime }$ 密度为

$$\begin{array}{rl}{f}_Z(z)& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}|y|f(yz,y)\mathrm{d}y\\ & ={\int }_0^{\mathrm{\infty }}2n{y}^2\frac{1}{2^{n/2}\mathrm{\Gamma }(n/2)}(n{y}^2{)}^{n/2-1}{e}^{-n{y}^2/2}\times \frac{1}{\sqrt{2\pi }}{e}^{-y^2{z}^2/2}\mathrm{d}y\\ & =\frac{2n^{n/2}}{2^{n/2}\mathrm{\Gamma }(n/2)\sqrt{2\pi }}{\int }_0^{\mathrm{\infty }}{y}^n{e}^{-y^2(z^2+n)/2}\mathrm{d}y\\ & =\frac{2n^{n/2}}{2^{n/2}\mathrm{\Gamma }(n/2)\sqrt{2\pi }(z^2+n{)}^{n/2}}{\int }_0^{\mathrm{\infty }}{t}^{n/2}{e}^{-t/2}\mathrm{d}y(t:=y^2(z^2+n))\\ & =\frac{n^{n/2}}{2^{n/2}\mathrm{\Gamma }(n/2)\sqrt{2\pi }(z^2+n{)}^{(n+1)/2}}{\int }_0^{\mathrm{\infty }}{t}^{(n-1)/2}{e}^{-t/2}\mathrm{d}t(\mathrm{d}y=\frac{1}{2}{t}^{-1/2}(z^2+n{)}^{-1/2}\mathrm{d}t)\\ & =\frac{n^{n/2}}{2^{n/2}\mathrm{\Gamma }(n/2)\sqrt{2\pi }(z^2+n{)}^{(n+1)/2}}{2}^{(n+1)/2}\mathrm{\Gamma }((n+1)/2)\\ & =\frac{\mathrm{\Gamma }((n+1)/2)n^{n/2}}{\mathrm{\Gamma }(n/2)\sqrt{\pi }(z^2+n{)}^{(n+1)/2}}\end{array}$$

点评：这里用到了 ${\chi }^2$ 分布积分公式。

min max 分布公式

对于 $n$ 个独立随机变量，max 的分布函数为每个变量分布函数之积，min 分布函数为 $1-\prod _i(1-F_{X_i}(x))$。

密度变换公式

设连续随机向量 $\mathbf{X}$ 的密度为 $f_{\mathbf{X}}(\mathbf{x})$，$g(\mathbf{x})$ 有连续偏导数且反函数 $h(\mathbf{y})$ 连续，则 $g(\mathbf{X})$ 的概率密度为 $f_{\mathbf{Y}}(\mathbf{y})=f_{\mathbf{X}}(h(\mathbf{y}))\times |J(\mathbf{y})|$，$J(\mathbf{y})$ 为 $h$ 在 $\mathbf{y}$ 处的 Jacobi 行列式，也即 $J_{jk}=\partial h_j(\mathbf{y})/\partial y_k$。

例：已知 $X,Y$ 独立服从 $N(0,1)$，求 $(X,Y)$ 的极坐标 $(r,\theta )$ 的概率密度。

解：直接套用密度公式得 $f_{R,\theta }(r,\theta )=\frac{1}{2\pi }r{e}^{-r^2/2}$。

点评：这也说明 $r,\theta$ 独立。

例：已知 $X,Y$ 独立服从 $N(0,1)$，求 $X/Y$ 的分布。

解：设 $(z,w)=g(x,y)=(x/y,y)$，则 $x=zw,y=w$。利用密度变换公式得

$$\begin{array}{rl}{f}_{Z,W}(z,w)& =f_{X,Y}(zw,w)\times |J(z,w)|\\ & =\frac{|w|}{2\pi }{e}^{-(z^2{w}^2+w^2)/2}\end{array}$$

故

$$\begin{array}{rl}{f}_Z(z)& ={\int }_{\text{R}}\frac{|w|}{2\pi }{e}^{-(z^2{w}^2+w^2)/2}\mathrm{d}w\\ & =\frac{1}{\pi }{\int }_0^{+\mathrm{\infty }}w{e}^{-w^2(z^2+1)/2}\mathrm{d}w\\ & =\frac{1}{\pi (z^2+1)}\end{array}$$

点评：此分布称为柯西分布。

例：设 $Z_1,Z_2\in N(0,1)$，则 $(X_1=a{Z}_1+b{Z}_2+{\mu }_1,X_2=c{Z}_1+d{Z}_2+{\mu }_2)$ 服从什么分布？

解：服从 $N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$，其中 ${\sigma }_1=\sqrt{a^2+b^2},{\sigma }_2=\sqrt{c_2+d^2},\rho =\frac{ac+bd}{{\sigma }_1{\sigma }_2}$。

点评：若 $X,Y$ 服从二元正态分布，则其线性组合也服从二元正态分布。已知是正态分布的话，${\sigma }_1,{\sigma }_2,\rho$ 都可以用方差、相关系数的定义算出。

例：给定一个 $U(0,1)$ 随机数生成器，用它生成符合给定分布 $F(x)$ 的变量 $X$。

解：$X=F^{-1}(y)$，其中 $Y\sim U(0,1)$。

例：生成单位圆内均匀分布的点。

解：考虑极坐标。$\theta$ 显然均匀分布，计算易得 $r$ 服从满足 $F_R(r)=r^2$ 的分布。

例：生成 $k$ 维单位球面内均匀分布的点。

解：先生成 $k$ 个独立 $N(0,1)$ 再归一化。

第四章

期望

设离散型随机变量 $X$ 分布为 $p_i=P(X=x_i)$，若 $x_i$ 只有有限个或 $\sum _i{p}_i{x}_i$ 绝对收敛，则称期望存在，记为 $E(X)=\sum _i{p}_i{x}_i$。

常见离散型随机变量期望：

• $X\sim B(n,p)\to E(X)=np$
• $X\sim \pi (\lambda )\to E(X)=\lambda$
• $X\sim NB(r,p)\to E(X)=r(1-p)/p$

若 $X$ 为非负整数，则 $E(X)=\sum _{n\ge 1}P(X\ge n)$。

设离散型随机变量 $X$ 密度为 $f(x)$，若 ${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}xf(x)\mathrm{d}x$ 绝对收敛，则称期望存在，记为 $E(X)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}xf(x)\mathrm{d}x$。

常见连续型随机变量期望：

• $X\sim U(a,b)\to E(X)=(a+b)/2$
• $X\sim Exp(\lambda )\to E(X)=1/\lambda$
• $X\sim \mathrm{\Gamma }(\alpha ,\lambda )\to E(X)=\alpha /\lambda$
• $X\sim N(\mu ,{\sigma }^2)\to E(X)=\mu$
• $X$ 服从柯西分布 $f(x)=\frac{1}{\pi (x^2+1)}$，则 $E(X)$ 不存在。

若分布函数为 $F(x)$，则 $E(X)={\int }_0^{\mathrm{\infty }}(1-F(x))\mathrm{d}x-{\int }_{-\mathrm{\infty }}^{0}F(x)\mathrm{d}x$。

设离散型随机变量 $X$ 密度为 $f(x)$，则 $g(x)$ 期望为 $E(g(x))={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x)g(x)\mathrm{d}x$。

期望有线性性。若 $X_i$ 相互独立，则 $E(\prod _i{X}_i)=\prod _{i}E(X_i)$。

例：设 $X\sim N(0,1)$，求 $E(X^2)$。

解：考虑 $Y\sim N(0,1)$ 且 $X,Y$ 独立，求 $E(X^2+Y^2)$ 再转到极坐标。

方差

当 $x=E(X)$ 时，$E((X-x{)}^2)$ 最小，称 $E((X-E(X){)}^2)$ 为 $X$ 的方差 $D(X)$ 或 $\mathrm{Var}(X)$，标准差 $\sigma (X)=\sqrt{D(X)}$。$D(X)=E(X^2)-E(X{)}^2$。

常见随机变量期望：

• $X\sim B(n,p)\to D(X)=np(1-p)$
• $X\sim \pi (\lambda )\to D(X)=\lambda$
• $X\sim NB(r,p)\to D(X)=r(1-p)/p^2$
• $X\sim U(a,b)\to D(X)=(b-a{)}^2/12$
• $X\sim \mathrm{\Gamma }(\alpha ,\lambda )\to D(X)=\alpha /{\lambda }^2$
• $X\sim N(\mu ,{\sigma }^2)\to D(X)={\sigma }^2$

$D(cX+d)=c^{2}D(X)$。对于相互独立随机变量 $X_i$，$D(\sum _i{X}_i)=\sum _{i}D(X_i)$。设 $X$ 为任意随机变量，则 $Y=(X-E(X))/\sigma (X)$（称为 $X$ 的标准化）总具有均值 0 和方差 1。

协方差和多元正态分布

定义协方差 $\mathrm{Cov}(X,Y)=E((X-E(X))(Y-E(Y)))=D(X+Y)-D(X)-D(Y)=E(XY)-E(X)E(Y)$，因此 $D(\sum _i{X}_i)=\sum _{i}D(X_i)+2\sum _{i<j}\mathrm{Cov}(X_i,X_j)$。定义相关系数 ${\rho }_{X,Y}=\mathrm{Cov}(x,y)/\sqrt{D(X)D(Y)}$。

协方差是双线性函数，相关系数就是 $X,Y$ 标准化后的协方差。

例：证明 $|{\rho }_{XY}|\le 1$，并且 $|{\rho }_{XY}=1|⟺\mathrm{\exists }a,b,c,P(aX+bY+c=0)=1$。

解：不妨假设 $E(X)=E(Y)=0$，根据柯西不等式

$${\rho }_{XY}^2=\frac{E(XY{)}^2}{E(X^2)E(Y^2)}\le 1$$

只需证 $|{\rho }_{XY}=1|\to \mathrm{\exists }a,b,P(Y=aX+b)=1$。将 $a$ 视为变量，则

$$E((Y-aX{)}^2)=a^{2}E(X^2)-2aE(XY)+E(Y^2)$$

因为 ${\rho }_{XY}=1$，所以 $E(XY{)}^2=E(X^2)E(Y^2)$，所以 $E((Y-aX{)}^2)=(a\sqrt{E(X^2)}-\sqrt{E(Y^2)}{)}^2$，当 $E(X^2)E(Y^2)\ne 0$ 时一定有零点，取该 $a$ 即可，否则是边界情况，也是显然的。

称 $X,Y$ 不线性相关，当且仅当下面任意一条（这三条等价）满足：

• $\mathrm{Cov}(X,Y)=0$
• $E(XY)=E(X)E(Y)$
• $D(X+Y)=D(X)+D(Y)$

独立则不线性相关，反之不然。对于正太分布变量，线性相关等价于不独立。

随机变量 $X$ 的 $k$ 阶矩为 $E(X^k)$，中心矩为 $E((X-E(X){)}^k)$。三阶矩叫“偏度”，四阶矩叫“峰度”。$X,Y$ 的 $k+l$ 阶混合矩为 $E(X^k{Y}^l)$，中心矩为 $E((X-E(X){)}^k(Y-E(Y){)}^l)$。设 $X\sim N(0,1)$，则 $E(X^{2k})=(2k-1)\times (2k-3)\times \cdots \times 1$，$E(X^{2k-1})=0(k\in {\text{Z}}^{+})$。

设 $\mathbf{X}$ 为随机向量，则 $B=E((\mathbf{X}-E(\mathbf{X}))(\mathbf{X}-E(\mathbf{X}){)}^{\prime })$ 叫 $\mathbf{X}$ 的协方差矩阵。

例：证明 $B$ 一定半正定。

解：$\mathrm{\forall }\alpha ,{\alpha }^{\prime }B\alpha =E((\alpha ,\mathbf{X}{)}^2)\ge 0$。

给定可逆协方差矩阵 $B$ 和向量 $\mu$，多元正态分布概率密度可写为

$$f(\mathbf{x})=\frac{1}{(2\pi {)}^{n/2}|B{|}^{1/2}}\exp (-\frac{1}{2}(\mathbf{x}-\mu {)}^{\prime }{B}^{-1}(\mathbf{x}-\mu ))$$

多元正态分布的边缘分布、线性组合都是正态分布，设 $\mathbf{X}\sim N(\mu ,B)$，则 $A\mathbf{X}+\mathbf{b}\sim N(A\mu +\mathbf{b},AB{A}^{\prime })$。若 $B=E$，则称为 $n$ 维标准正态分布。所有多元正态分布都是标准正态分布的线性组合：任意半正定矩阵 $B$ 都可以写成 $B=A{A}^{\prime }$ 的形式，故 $\mathbf{X}\sim N(\mu ,B)$ 说明 $\mathbf{X}=A\mathbf{Z}+\mu$，其中 $Z$ 服从 $n$ 维标准正态分布。换句话说，多元正态分布总能通过合理线性组合变独立，这有时方便计算。

例：设 $(X_1,X_2)\sim N(0,0,1,1,1/2)$。求 $E(X_1^2{X}_2^2)$。

解：先求 $a$ 使得 $X_1-a{X}_2$ 与 $X_2$ 独立，根据正态分布的性质，只需 $\mathrm{Cov}(X_1-a{X}_2,X_2)=0$，也即 $\mathrm{Cov}(X_1,X_2)-aD(X_2)=0$，得 $a=\frac{1}{2}$。令 $Z=X_1-a{X}_2$，则 $D(Z)=3/4$，故 $Z\sim N(0,3/4)$。因此

$$\begin{array}{rl}E(X_1^2{X}_2^2)& =E(Z^2{X}_2^2+Z{X}_2^3+X_2^4/4)\\ & =E(Z^2)E(X_2^2)+E(Z)E(X_2^3)+E(X_2^4)/4\\ & =3/2\end{array}$$

第五章

特征函数

对于随机变量 $X$，令 $\mathbb{R}\to \mathbb{C}$ 的函数 ${\psi }_X(t)=E(e^{itX})$ 为其特征函数。

常见分布特征函数：

• 退化分布 $P(X=x)=1$，${\psi }_X(t)=e^{itx}$。
• $X\sim \pi (\lambda )\to {\psi }_X(t)=e^{\lambda (e^{it}-1)}$
• $X\sim N(0,1)\to {\psi }_X(t)=e^{-t^2/2}$

特征函数的性质：

• $aX+b$ 特征函数为 $\psi (t)=e^{itb}{\psi }_X(at)$
• 若 $X_i$ 相互独立，则 $\sum X_i$ 特征函数为 $\psi (t)=\prod _i{\psi }_{X_i}(t)$
• 若 $X$ 存在 $k$ 阶矩，则 $E(X^k)=(-i{)}^k{\psi }_X^{(k)}(0)$

唯一性定理：随机变量的分布函数由特征函数唯一决定。

大数定律

定义

设随机变量 $X$ 和一列随机变量 $X_i$ 满足

$$\mathrm{\forall }ϵ>0,\underset{n\to \mathrm{\infty }}{lim}P(|X_n-X|<ϵ)=1$$

则称 $X_n$ 依概率收敛于 $X$，记作 $X_n\stackrel{P}{\to }X(n\to \mathrm{\infty })$。若 $X_n\stackrel{P}{\to }X,Y_n\stackrel{P}{\to }Y$，$g$ 连续，则 $g(X_n,Y_n)\stackrel{P}{\to }g(X,Y)$。

设一列随机变量 $X_i$ 和一列固定常数 $a_i$ 满足

$$\mathrm{\forall }ϵ>0,\underset{n\to \mathrm{\infty }}{lim}P(|a_n-\frac{1}{n}\sum _{i=1}^n{X}_i|<ϵ)=1$$

则称 $X_i$ 服从大数定律。

例：设 $X_i$ 两两独立，都服从柯西分布（密度 $f(x)=\frac{1}{\pi (1+x^2)}$）。证明不存在常数 $c$ 使得 $\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{\to }c$。

解：容易算得 $\frac{1}{n}\sum _{i=1}^n{X}_i$ 也服从柯西分布，故显然不能依概率收敛到常数。

设随机变量 $X$ 和一列随机变量 $X_i$ 满足

$$P(\underset{n\to \mathrm{\infty }}{lim}{X}_n=X)=1$$

则称 $X_n$ 几乎必然收敛于 $X$，记作 $X_n\stackrel{a.s.}{\to }X(n\to \mathrm{\infty })$。

令 $A_n(ϵ)=\{|X_n-X|\ge ϵ\}$，则几乎必然收敛的定义等价于 $\mathrm{\forall }ϵ>0,\underset{n\to \mathrm{\infty }}{lim}P({\vee }_{m=n}^{\mathrm{\infty }}{A}_m(ϵ))=0$。而依概率收敛的定义等价于 $\mathrm{\forall }ϵ>0,\underset{n\to \mathrm{\infty }}{lim}P(A_n(ϵ))=0$。两者区别类似于，后者只要求某个序列 $\to 0$，而前者要求这个序列后缀和也 $\to 0$。所以几乎必然收敛则一定依概率收敛（可以用定义验证），反之不然。例如，$X_n\sim B(1,1/n)$ 且相互独立，则 $X_n\stackrel{P}{\to }B(1,0)$，但列式即知 $X_n$ 不几乎必然收敛于 $B(1,0)$。

设分布函数为 $F_X(x)$ 的随机变量 $X$ 和一列分布函数为 $F_{X_i}(x)$ 的随机变量 $X_i$ 满足，若 $F_X(x)$ 在 $x_0$ 处连续，则

$$\underset{n\to \mathrm{\infty }}{lim}{F}_{X_n}(x_0)=F_X(x_0)$$

则称 $F_{X_i}(x)$ 弱收敛于 $F_X(x)$，$X_i$ 依分布收敛于 $X$，记作 $X_n\stackrel{d}{\to }X(n\to \mathrm{\infty })$。

依概率收敛则依分布收敛，反之不然，因为分布相同具体取值可以不同。若收敛到常数，则依分布收敛等价于依概率收敛。

连续性定理：$F_{X_i}(x)$ 弱收敛于 $F_X(x)$ 等价于特征函数 ${\psi }_{X_i}(x)$ 逐点收敛于 ${\psi }_X(t)$。

几个不等式

马尔科夫不等式：设 $E(|X{|}^k)$ 存在，则对于 $ϵ>0$， $P(|X|\ge ϵ)\le E(|X{|}^k)/{ϵ}^k$。

切比雪夫不等式：设 $E(X),D(X)$ 存在，则对于 $ϵ>0$， $P(|X-E(X)|\ge ϵ)\le D(X)/{ϵ}^2$。

Hoeffding 不等式：设 $X\in [a,b]$ 且 $E(X)$ 存在，则对于 $ϵ>0$，$P(X-E(X)\ge ϵ)\le \exp (-2{ϵ}^2/(b-a{)}^2)$，$P(X-E(X)\le -ϵ)\le \exp (-2{ϵ}^2/(b-a{)}^2)$。

证明：将第一个不等式中 $X\to -X$ 即得到第二个不等式，下面只证第一个。不妨假设 $E(X)=0$。取 $t>0$，则 $P(X\ge ϵ)\le e^{-tϵ}E(e^{tX})$。

由于 $X\in [a,b]$，所以由 $e^{tx}$ 凸性得 $E(e^{tX})\le \frac{bE(e^{ta})-aE(e^{tb})}{b-a}$。定义 $\phi (t)=\ln \frac{bE(e^{ta})-aE(e^{tb})}{b-a}$，对其求导可知 $\phi (0)=0,{\phi }^{\prime }(0)=0,{\phi }^{″}(t)\le (b-a{)}^2/4$。因此由带拉格朗日余项泰勒展开知 $\phi (t)\le t^2(b-a{)}^2/8$。因此 $E(e^{tX}\le \exp (t^2(b-a{)}^2/8))$。因此上式 $\le e^{t^2(b-a{)}^2/8-tϵ}$，取 $t=4ϵ/(b-a{)}^2$ 即得。

弱大数定律

依概率收敛下的大数定理为弱大数定律。

• 切比雪夫大数定律：设 $X_i$ 两两独立（注意不用相互独立），$X_i$ 方差有界 $M$，则 $\sum _{i\le n}{X}_i/n\stackrel{P}{\to }\sum _{i\le n}E(X_i)/n$。
  证明：根据切比雪夫不等式，
  $$\begin{array}{rl}P(|\frac{1}{n}\sum _{i\le n}{X}_i-\frac{1}{n}\sum _{i\le n}E(X_i)|\ge ϵ)& \le \frac{D\left(\frac{1}{n}\sum _{i\le n}{X}_i\right)}{{ϵ}^2}\\ & =\frac{\sum _{i=1}^{n}D(X_i)}{n^2{ϵ}^2}\\ & \le \frac{M}{n{ϵ}^2}\\ & \to 0\end{array}$$

• 马尔可夫大数定律：设 $X_i$ 满足 $\underset{n\to \mathrm{\infty }}{lim}\frac{1}{n^2}\sum _{i=1}^{n}D(X_i)=0$，则 $\sum _{i\le n}{X}_i/n\stackrel{P}{\to }\sum _{i\le n}E(X_i)/n$。
  证明：同上。切比雪夫不等式就是用两两独立和方差有界保证了要求的极限为 0。
• 辛钦大数定律：设 $X_i$ 相互独立同分布，存在期望 $\mu =E(X_i)$，则 $\sum _{i\le n}{X}_i/n\stackrel{P}{\to }\mu$。
  证明：由题可知 $X_i$ 特征函数存在导数且 ${\psi }_{X_i}(t)={\psi }_{X_i}(0)+{\psi }_{X_i}^{\prime }(t)+o(t)=1+i\mu t+o(t)$。令 $A_n=\sum _{i\le n}{X}_i/n$，则 ${\psi }_{A_n}(t)=\prod _{k=1}^n{\psi }_{X_k}(t/n)=(1+i\mu t/n+o(t/n){)}^n$。令 $n\to \mathrm{\infty }$ 得 ${\psi }_{A_n}(t)\to e^{it\mu }$，此即为退化分布 $X=\mu$ 特征函数。根据连续性定理，$A_n\stackrel{d}{\to }\mu$，而依分布收敛于常数等价于依概率收敛于常数，证毕。

强大数定律

几乎必然收敛下的大数定理为强大数定律。

• 四阶矩有界的强大数定律：设 $X_i$ 相互独立，存在期望、四阶矩，四阶矩有界 $M$。记 $S_n=\sum _{i\le n}{X}_i$，则 $(S_n-E(S_n))/n\stackrel{a.s.}{\to }0$。
  证明：不妨设 $E(X_i)=0$。记 $A_n=\{|S_n/n|\ge ϵ\}$，只需验证 $P({\vee }_{m=n}^{\mathrm{\infty }}{A}_m)\to 0$。由马尔可夫不等式
  $$\begin{array}{rl}P({\vee }_{m=n}^{\mathrm{\infty }}{A}_m)& \le \sum _{m=n}^{\mathrm{\infty }}P(A_m)\\ & \le \sum _{m=n}^{\mathrm{\infty }}\frac{E(S_m^4)}{m^4{ϵ}^4}\end{array}$$
  注意到 $E(S_m^4)=\sum _{i,j,k,l\le m}E(X_i{X}_j{X}_k{X}_l)$。若 $X_i,X_j,X_k,X_l$ 中有只出现一次的，则根据独立性期望为 0，所以只有 $E(X_i^4)$ 和 $E(X_i^2{X}_j^2)$ 有贡献，因此
  $$\begin{array}{rl}\sum _{i,j,k,l\le m}E(X_i{X}_j{X}_k{X}_l)& =\sum _{i\le m}E(X_i^4)+(\genfrac{}{}{0ex}{}{4}{2})\sum _{i<j\le m}E(X_i^2{X}_j^2)\\ & \le \sum _{i\le m}E(X_i^4)+(\genfrac{}{}{0ex}{}{4}{2})\sum _{i<j\le m}\sqrt{E(X_i^4)E(X_j^4)}\\ & \le O(m^{2}M)\end{array}$$
  因此
  $$\begin{array}{rl}P({\vee }_{m=n}^{\mathrm{\infty }}{A}_m)& \le \sum _{m=n}^{\mathrm{\infty }}\frac{O(m^{2}M)}{m^4{ϵ}^4}\\ & =\sum _{m=n}^{\mathrm{\infty }}O(m^{-2})\\ & \to 0\end{array}$$

• Kolmogorove 强大数定律：设 $X_i$ 相互独立同分布，存在期望 $\mu$，记 $S_n=\sum _{i\le n}{X}_i$，则 $S_n/n\stackrel{a.s.}{\to }\mu$。
  这也是最常用的强大数定律，不会证。

中心极限定理

Lindeberg-Lévy 定理：设 $X_i$ 相互独立同分布，存在期望 $\mu$ 方差 ${\sigma }^2$，记 $A_n=(\sum _{i=1}^n(X_i-\mu ))/(\sqrt{n}\sigma )$，则 $A_n\stackrel{d}{\to }N(0,1)$。

证明：不妨假设 $\mu =0$，根据特征函数的性质，${\psi }_{X_i}(t)={\psi }_{X_i}(0)+{\psi }_{X_i}^{\prime }(t)+{\psi }_{X_i}^{″}(t)t^2/2+o(t^2)=1-{\sigma }^2{t}^2+o(t^2)$。因此 ${\psi }_{A_n}(t)=({\psi }_{X_i}(t/(\sqrt{n}\sigma )){)}^n=(1-t^2/2n+o(t^2/n){)}^n\to e^{-t^2/2}$，此即为 $N(0,1)$ 特征函数，由连续性定理得证。

这个定理告诉我们，对独立同分布的 $X_i$ 以及较大的 $n$，$A_n=\frac{1}{n}\sum _{i\le n}{X}_i$ 可以大概认为是 $N(\mu ,{\sigma }^2/n)$，再结合标准正态分布的分布函数表，就可以估计 $P(A_n\in [a,b])$ 或类似概率。