概率论复习笔记

$X$代表随机变量，$x$是具体的值。

规定：连续型随机变量取任意指定值的概率为$0$，即：$P(X=a)=0$

 

$D(aX+b)=a^{2}D(X)$

$E(aX+b)=aE(X)$

无论$X、Y$是否相互独立，都有$E(X+Y)=E(X)+E(Y)$

当相互独立时，有$E(XY)=E(X)E(Y)$

当相互独立时，有$D(X\pm Y)=D(X)+D(Y)$，可以通过$D(aX+bY+c)=a^{2}D(X)+b^{2}D(Y)+2abCov(X,Y)$，而$Cov(X,Y)={\rho }_{XY}\sqrt{D(X)D(Y)}$，而${\rho }_{XY}=0$得到。

 

随便推几个式子。

总体服从$N(\mu ,{\sigma }^2)$，即对任意$X_i\sim N(\mu ,{\sigma }^2)$ 。那么根据中心极限定理$\sum _{i=1}^n{X}_i\sim N(n\mu ,n{\sigma }^2)$，于是$\bar{X}=\frac{\sum _{i=1}^n{X}_i}{n}\sim N(\mu ,\frac{{\sigma }^2}{n})$。

1.$\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\bar{X}{)}^2=\frac{1}{{\sigma }^2}\sum _{i=1}^n{N}^2(0,\frac{n-1}{n}{\sigma }^2)=\frac{1}{{\sigma }^2}\sum _{i=1}^n(\sqrt{\frac{n-1}{n}}\sigma N(0,1){)}^2$

$=\frac{n-1}{n}\sum _{i=1}^n{N}^2(0,1)=\frac{n-1}{n}{N}^2(0,n)=N^2(0,n-1)=\sum _{i=1}^{n-1}{N}^2(0,1)\sim {\chi }^2(n-1)$

2.于是$\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2=\frac{1}{{\sigma }^2}\sum _{i=1}^n{N}^2(0,{\sigma }^2)=\sum _{i=1}^n{N}^2(0,1)\sim {\chi }^2(n)$

3.$\frac{n(\bar{X}-\mu {)}^2}{{\sigma }^2}=\frac{n{N}^2(0,\frac{{\sigma }^2}{n})}{{\sigma }^2}=\frac{n(\frac{\sigma }{\sqrt{n}}N(0,1){)}^2}{{\sigma }^2}=N^2(0,1)\sim {\chi }^2(1)$

4.$\frac{(n-1)S^2}{{\sigma }^2}=\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\bar{X}{)}^2\sim {\chi }^2(n-1)$

5.$\frac{\sqrt{n}(\bar{X}-\mu )}{S}=\frac{N(0,{\sigma }^2)}{\sqrt{\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2}}=\frac{N(0,{\sigma }^2)}{\sqrt{\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2}}=\frac{N(0,{\sigma }^2)}{\sqrt{\frac{1}{n-1}{\sigma }^2\sum _{i=1}^n{N}^2(0,\frac{n-1}{n})}}=\frac{N(0,1)}{\sqrt{\frac{1}{n-1}{N}^2(0,n-1)}}$

$=\frac{N(0,1)}{\sqrt{\frac{1}{n-1}\sum _{i=1}^{n-1}{N}^2(0,1)}}\sim t(n-1)$

 

全概率公式和贝叶斯公式

设$B$是$A$的一个划分。

$P(A)=P(A{B}_1\cup A{B}_2\cup ...\cup A{B}_n)=P(A{B}_1)+...+P(A{B}_n)$

$=P(A|B_1)P(B_1)+...+P(A|B_n)P(B_n)$

贝叶斯公式

$P(B_1|A)=\frac{P(A{B}_1)}{P(A)}=\frac{P(B_1)P(A|B_1)}{\mathrm{全}\mathrm{概}\mathrm{率}\mathrm{公}\mathrm{式}}$

 

概率密度函数$f(x)$

某个邻域内概率的变化快慢。概率密度函数的值是概率的变化率，概率密度函数的面积才是概率。

于是可以得知$(a,b]$的概率：$P(a<X\le b)={\int }_a^{b}f(x)dx$

性质：$f(x)\ge 0$ ，${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x)dx=1$。这两点是判断$f(x)$是否是概率密度函数的充要条件。

 

已知$X$的概率密度函数。

$Y=G(X)$

$F_Y(y)=P\{Y\le y\}=P\{G(X)\le y\}=P\{G^{-1}(G(X))\le G^{-1}(y)\}=P\{X\le G^{-1}(y)\}$

$={\int }_{-\mathrm{\infty }}^{G^{-1}(y)}{f}_X(x)dx$

根据$x$的分段点，给$y$做对应的分类讨论即可。

 

概率分布函数$F(x)$

是$X$取$\le x$的概率之和，故又称概率累积概率函数。

于是可以得知$(a,b]$的概率：$P(a<X\le b)=F(b)-F(a)$

 

两者的联系

$F(x)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(t)dt$

$f(x)=F^{\prime }(x)$

 

由密度函数$f$求分布函数$F$

$F(x),$ $F_X(x)$，$X$的分布函数，$P\{X\le x\}$都是同一概念。

一维

$f(x)=\{\begin{array}{l}0,x\le 0\\ e^{-x},x>0\end{array}$

已知$Y=\{\begin{array}{l}2,X\le 1\\ X,X>1\end{array}$，求$F(y)$

$F(y)=P(Y\le y)=P(2\le y,X\le 1)+P(X\le y,X>1)$

$=\{\begin{array}{l}{\int }_{-\mathrm{\infty }}^{1}f(x)dx,y\ge 2\\ 0,y<2\end{array}+\{\begin{array}{l}{\int }_1^{y}f(x)dx,y\ge 1\\ 0,y<1\end{array}$

$=\{\begin{array}{l}1-e^{-1},y\ge 2\\ 0,y<2\end{array}+\{\begin{array}{l}{e}^{-1}-e^{-y},y\ge 1\\ 0,y<1\end{array}$

$=\{\begin{array}{l}0,y<1\\ e^{-1}-e^{-y},1\le y<2\\ 1-e^{-y},y\ge 2\end{array}$

 

二维连续型求概率，求$(X,Y)$的联合分布函数，求$F(x,y)$，求$P\{X\le x,Y\le y\}$是同一概念。

二维：

例1.

$f(x,y)=\{\begin{array}{l}2-x-y,0<x<1,0<y<1\\ 0,\mathrm{其}\mathrm{他}\end{array}$

求$P\{X>2Y\}$

$P\{X>2Y\}=\underset{D}{\iint }(2-x-y)dxdy$

$D$是满足条件的区域即$Y\le \frac{X}{2}$与$f(x,y)$非零区域的交集。

画图可知，结果为$\underset{D}{\iint }(2-x-y)dxdy={\int }_0^{1}dx{\int }_0^{\frac{x}{2}}(2-x-y)dy=\frac{7}{24}$

例2.

$f(x,y)=\{\begin{array}{l}x+y,0<x<1,0<y<1\\ 0,\mathrm{其}\mathrm{他}\end{array}$

求$P\{X\le x,Y\le y\}$

$\underset{D}{\iint }(x+y)dxdy=\{\begin{array}{l}\frac{x^{2}y}{2}+\frac{x{y}^2}{2},0<x<1,0<y<1\\ \frac{x^2}{2}+\frac{x}{2},0<x<1,y\ge 1\\ 1,x\ge 1,y\ge 1\\ \frac{y}{2}+\frac{y^2}{2},x\ge 1,0<y<1\\ 0,\mathrm{其}\mathrm{他}\end{array}$

 

 

由分布函数$F$求密度函数$f$

一维：求导

二维：求$x$和$y$的混合偏导

 

 

由密度函数$f$求另一个密度函数$f$

一维

先求$F$，然后再求导得$f$。

例1.

$f(x)=\{\begin{array}{l}0,x\le 0\\ e^{-x},x>0\end{array}$

已知$Y=2X$，求$f_Y(y)$。

$F(y)=P\{Y\le y\}=P\{2X\le y\}=P\{X\le \frac{y}{2}\}$

当$y\le 0$，$F(y)=0$；当$y>0$，$F(y)={\int }_0^{\frac{y}{2}}{e}^{-x}dx=1-e^{-\frac{y}{2}}$

$f(y)=\{\begin{array}{l}\frac{1}{2}{e}^{-\frac{y}{2}},y>0\\ 0,y\le 0\end{array}$

 

二维

先求$F$，然后再求导得$f$。

例1.

$f(x,y)=\{\begin{array}{l}2e^{-(x+2y)},x>0,y>0\\ 0,\mathrm{其}\mathrm{他}\end{array}$

已知$Z=X+2Y$，求$f_Z(z)$

$F(z)=P\{Z\le z\}=P\{X+2Y\le z\}$

$Y\le \frac{z}{2}-\frac{X}{2}$，画图可知，当$z\le 0$交集为空。

$F(z)=\underset{D}{\iint }2e^{-(x+2y)}dxdy={\int }_0^{z}2e^{-x}dx{\int }_0^{\frac{z}{2}-\frac{X}{2}}{e}^{-2y}dy=1-e^{-z}-z{e}^{-z}$，$z\ge 0$

于是，求导可得，$f(z)=\{\begin{array}{l}z{e}^{-z},z\ge 0\\ 0,z<0\end{array}$

 

 

 

二维连续型求边缘分布函数

边缘概率分布函数的含义

$F_X(x)=P\{X\le x,Y\le +\mathrm{\infty }\}=F_X(x,+\mathrm{\infty })$

$F_Y(y)=P\{X\le +\mathrm{\infty },Y\le y\}=F(+\mathrm{\infty },y)$

例题.

设随机变量$(X,Y)$的分布函数：

$F(x,y)=\frac{1}{{\pi }^2}(\frac{\pi }{2}+arctanx)(\frac{\pi }{2}+arctan2y)$，$-\mathrm{\infty }<x<+\mathrm{\infty }$，$-\mathrm{\infty }<y<+\mathrm{\infty }$

于是$F_X(x)=\frac{1}{{\pi }^2}(\frac{\pi }{2}+arctanx)(\pi )=\frac{1}{2}+\frac{1}{\pi }arctanx$

$F_Y(y)=\frac{1}{{\pi }^2}(\frac{\pi }{2}+arctan2y)(\pi )=\frac{1}{2}+\frac{1}{\pi }arctan2y$

 

二维连续型求边缘概率密度函数

$f_X(x)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(x,y)dy$，$f_Y(y)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(x,y)dx$

例1.

设区域$G$是由$x-y=0,x+y=2$与$y=0$所围成的三角形区域，二维随机变量$(X,Y)$的概率密度为

$f(x,y)=\{\begin{array}{l}1,(x,y)\in G\\ 0,\mathrm{其}\mathrm{他}\end{array}$

求$(X,Y)$的边缘概率密度

$f_X(x)=\{\begin{array}{l}{\int }_0^{x}1dy,0\le x\le 1\\ {\int }_0^{2-x}1dy,1<x\le 2\\ 0,\mathrm{其}\mathrm{他}\end{array}=\{\begin{array}{l}x,0\le x\le 1\\ 2-x,1<x\le 2\\ 0,\mathrm{其}\mathrm{他}\end{array}$

 

$f_Y(y)=\{\begin{array}{l}{\int }_y^{2-y}1dx,0\le y\le 1\\ \\ 0,\mathrm{其}\mathrm{他}\end{array}=\{\begin{array}{l}2-2y,0\le y\le 1\\ \\ 0,\mathrm{其}\mathrm{他}\end{array}$

例2.

$f(x,y)=\{\begin{array}{l}2e^{-(x+2y)},x>0,y>0\\ 0,\mathrm{其}\mathrm{他}\end{array}$

求$(X,Y)$边缘概率密度$f_X(x)$和$f_Y(y)$。

$f_X(x)=\{\begin{array}{l}{\int }_0^{+\mathrm{\infty }}2e^{-x}{e}^{-2y}dy,x>0\\ 0,\mathrm{其}\mathrm{他}\end{array}=\{\begin{array}{l}{e}^{-x},x>0\\ 0,\mathrm{其}\mathrm{他}\end{array}$

$f_Y(y)=\{\begin{array}{l}{\int }_0^{+\mathrm{\infty }}2e^{-x}{e}^{-2y}dx,y>0\\ 0,\mathrm{其}\mathrm{他}\end{array}=\{\begin{array}{l}2e^{-2y},y>0\\ 0,\mathrm{其}\mathrm{他}\end{array}$

 

$f_X(x)f_Y(y)=f(x,y)⟺\mathrm{独}\mathrm{立}$

 

条件概率密度函数

由条件概率公式$f(x|y)=\frac{f(xy)}{f(y)}$

可以推广到这里 $f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$ ，$f(x,y)=f_{X|Y}(x|y)\cdot f_Y(y)$。

注意计算的时候要注意分母不能为$0$.

例1.

设区域$G$是由$x-y=0$，$x+y=2$，$y=0$围成的三角形区域，二维随机变量$(X,Y)$的概率为

$\{\begin{array}{l}f(x,y)=1,(x,y)\in G\\ 0,\mathrm{其}\mathrm{他}\end{array}$，求条件概率密度$f_{X|Y}(x|y)$。

先求出边缘概率密度$f_Y(y)=\{\begin{array}{l}2-2y,0\le y\le 1\\ 0,\mathrm{其}\mathrm{他}\end{array}$

由于分母不能为0即$2-2y\ne 0$，所以$0\le y<1$。

于是$f_{X|Y}(x|y)=\{\begin{array}{l}\frac{1}{2-2y},y\le x\le 2-y\\ 0,\mathrm{其}\mathrm{他}\end{array}$

 

例2.

设随机变量$X$服从$f_X(x)=\{\begin{array}{l}2x,0<x<1\\ 0,\mathrm{其}\mathrm{他}\end{array}$

在$X=x(0<x<1)$的条件下，随机变量$Y$服从$f=\{\begin{array}{l}\frac{1}{2x},0<y<2x\\ 0,\mathrm{其}\mathrm{他}\end{array}$，求$X$和$Y$的联合概率密度函数$f(x,y)$。

$f(x,y)=f_{Y|X}(y|x)\cdot f_X(x)$，而又由题意得知$f_{Y|X}(y|x)=f$

所以，$f(x,y)=\{\begin{array}{l}1,0<x<1,0<y<2x\\ 0,\mathrm{其}\mathrm{他}\end{array}$

 

一维连续型求期望

$E(X)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}x{f}_X(x)dx$

$E(g(x))={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}g(x)f_X(x)dx$

$D(x)=E(x^2)-E^2(x)$

二维连续型求期望

法1.先求出边缘概率密度，然后用一维方法求。

法2.求二重积分即可。

$E(X)=\underset{D}{\iint }xf(x,y)$

$E(Y)=\underset{D}{\iint }yf(x,y)$

均匀分布

$X\sim U[a,b]$  或 $X\sim U(a,b)$，$X$在$[a,b]$或$(a,b)$上服从均匀分布

概率密度函数$f(x)=\{\begin{array}{l}\frac{1}{b-a},a<x<b\\ 0,\mathrm{其}\mathrm{他}\end{array}$

期望$E(X)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}x\cdot f(x)dx=\frac{1}{b-a}{\int }_a^{b}xdx=\frac{a+b}{2}$

方差：$D(X)=E(x^2)-E^2(x)={\int }_a^b{x}^2\cdot f(x)dx-(\frac{a+b}{2}{)}^2=\frac{a^2+ab+b^2}{3}-(\frac{a+b}{2}{)}^2=\frac{(a-b{)}^2}{12}$

二维：$(X,Y)$在区域$G$服从均匀分布。

$P=\frac{S_D}{S_G}$，其中$S$表示面积，而$D$表示区域$G$和待求的区域的重合区域。

$f(x,y)=\{\begin{array}{l}\frac{1}{S_D},(x,y)\in G\\ 0,\mathrm{其}\mathrm{他}\end{array}$

 

泊松分布

$X\sim P(\lambda )$  ，$X$服从参数为$\lambda$的泊松分布。

分布律$P(X=k)=e^{-\lambda }\frac{{\lambda }^k}{k!},k=0,1,...,\mathrm{其}\mathrm{中}\lambda >0$

期望$E(X)=\sum _{i=0}^{\mathrm{\infty }}i\cdot p_i=\sum _{i=0}^{\mathrm{\infty }}i\cdot e^{-\lambda }\frac{{\lambda }^i}{i!}=\lambda e^{-\lambda }\sum _{i=0}^{\mathrm{\infty }}\frac{{\lambda }^{i-1}}{(i-1)!}=\lambda e^{-\lambda }{e}^{\lambda }=\lambda$

方差$D(X)=E(X^2)-E^2(X)=E(X(X-1)+X)-{\lambda }^2$

$=\sum _{i=0}^{\mathrm{\infty }}i(i-1)\frac{{\lambda }^i}{i!}{e}^{-\lambda }+\lambda -{\lambda }^2=\sum _{i=0}^{\mathrm{\infty }}{\lambda }^2\frac{{\lambda }^{i-2}}{(i-2)!}{e}^{-\lambda }+\lambda -{\lambda }^2={\lambda }^2-{\lambda }^2+\lambda =\lambda$

 

指数分布

$X\sim E(\lambda )$，$X$服从参数为$\lambda$的指数分布。

$P\{X\mathrm{在}a\mathrm{到}b\mathrm{之}\mathrm{间}\}={\int }_a^{b}f(x)dx$，其中$f(x)=\{\begin{array}{l}0,x\le 0\\ \lambda e^{-\lambda x},x>0\end{array}$

$E(X)=\frac{1}{\lambda }$，$D(X)=\frac{1}{{\lambda }^2}$

$P\{X\mathrm{已}\mathrm{经}\mathrm{发}\mathrm{生}\mathrm{事}\mathrm{件}a,\mathrm{还}\mathrm{能}\mathrm{继}\mathrm{续}\mathrm{发}\mathrm{生}\mathrm{事}\mathrm{件}b\}=P\{X\mathrm{能}\mathrm{发}\mathrm{生}\mathrm{事}\mathrm{件}b\}$

 

几何分布

$X\sim Ge(p)$，一直重复某试验直至发生某事件，每次试验概率相同且独立。设停止试验时，试验重复次数是$X$，则$X\sim Ge(p)$，$p$表示单次试验中事件发生的的概率。

$P\{X=k\}=(1-p{)}^{k-1}p$

$E(X)=\sum _{i=0}^{\mathrm{\infty }}i\cdot (1-p{)}^{i-1}p=p\sum _{i=0}^{\mathrm{\infty }}i\cdot (1-p{)}^{i-1}$

令$f=\sum _{i=0}^{\mathrm{\infty }}i\cdot (1-p{)}^{i-1}=\sum _{i=0}^{\mathrm{\infty }}(i+1)\cdot (1-p{)}^i$

$(1-p)f=\sum _{i=0}^{\mathrm{\infty }}i\cdot (1-p{)}^i$

于是$p\cdot f=\sum _{i=0}^{\mathrm{\infty }}(1-p{)}^i=\frac{1}{1-(1-p)}=\frac{1}{p}$，于是$f=\frac{1}{p^2}$

$E(X)=p\cdot f=\frac{1}{p}$

$D(X)=\frac{1-p}{p^2}$

 

 

超几何分布

$X\sim H(N,M,n)$，不放回的取，问取出某类东西数量的期望/概率。设取出的东西中有$X$个该类别的东西，则$X\sim H(N,M,n)$。

其中$N=\mathrm{所}\mathrm{有}\mathrm{类}\mathrm{别}\mathrm{东}\mathrm{西}\mathrm{总}\mathrm{数}$，$M=\mathrm{该}\mathrm{类}\mathrm{别}\mathrm{物}\mathrm{品}\mathrm{总}\mathrm{数}$,$n=\mathrm{不}\mathrm{放}\mathrm{回}\mathrm{取}\mathrm{的}\mathrm{个}\mathrm{数}$。

$P\{X=k\}=\frac{C_M^k{C}_{N-M}^{n-k}}{C_N^n}$

$E(X)=\frac{nM}{N}$，$D(X)=\frac{nM(N-M)(N-n)}{N^2(N-1)}$

 

二项分布

$X\sim B(n,p)$，重复试验$n$次，某事出现次数为$X$，单次发生概率为$p$。试验之间相互独立。

$P\{X=k\}=C_n^k{p}^k(1-p{)}^{n-k}$

$E(X)=\sum _{i=0}^{\mathrm{\infty }}i\cdot C_n^i\cdot p^i(1-p{)}^{n-i}=n\sum _{i=0}^{\mathrm{\infty }}\cdot C_{n-1}^{i-1}\cdot p^i(1-p{)}^{n-i}$

$=np\sum _{i=0}^{\mathrm{\infty }}{C}_{n-1}^{i-1}\cdot p^{i-1}(1-p{)}^{n-i}=np\sum _{i=0}^{\mathrm{\infty }}{C}_{n-1}^i\cdot p^i(1-p{)}^{n-i-1}$

$=np$

$D(X)=np(1-p)$。

如果题目求某个范围的概率，计算量大，那么用$X\sim N(np,np(1-p))$

$\underset{n\to \mathrm{\infty }}{lim}P\{\frac{X-np}{\sqrt{np(1-p)}}\le x\}=\varphi (x)$

 

特殊情况，01分布，即n=1时的二项分布。

$X\sim B(1,p)$，期望为$p$，方差为$p(1-p)$

 

正态分布

$X\sim N(\mu ,{\sigma }^2)$，$X$服从$\mu$(均值)为多少，$\sigma$(标准差)或${\sigma }^2$(方差)为多少的正态分布

注意$\sigma >0$

$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$，$-\mathrm{\infty }<x<+\mathrm{\infty }$

标准正态分布函数$\varphi (a)={\int }_{-\mathrm{\infty }}^a\frac{1}{\sqrt{2\pi }}{e}^{\frac{-x^2}{2}}dx$

${\varphi }^{\prime }(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$，即与标准正态分布的概率密度函数相等。

$\varphi (a)+\varphi (-a)=1$，$\varphi (0)=0.5$，$\varphi (+\mathrm{\infty })=1$，$\varphi (-\mathrm{\infty })=0$。

$\varphi (a)>\varphi (b)$，则$a>b$。

标准正态分布：$N(0,1)$ ，$\varphi (x)=P\{X\le x\}$

 

$aX+c\sim N(a\mu +c,a^2{\sigma }^2)$

$X\sim N({\mu }_1,{\sigma }_1^2)$、$Y\sim N({\mu }_2,{\sigma }_2^2)$，且$X$与$Y$相互独立，则$aX+bY+cZ\sim N(a{\mu }_1+b{\mu }_2+c,a^2{\sigma }_1^2+b^2{\sigma }_2^2)$

$X\sim N(\alpha ,\beta )$，那么$\frac{X-\alpha }{\sqrt{\beta }}\sim N(0,1)$

 

结论: ${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}x\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}=\mu$，${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{x}^2\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}={\mu }^2+{\sigma }^2$

证明: 由于${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}x\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}=E(X)=\mu$ ，${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{x}^2\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}=E(X^2)=D(X)+E^2(X)={\sigma }^2+{\mu }^2$。

 

例题1.

${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}\frac{1}{\sqrt{2\pi }}x{e}^{2x-\frac{x^2}{2}}dx={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}\frac{1}{\sqrt{2\pi }}x{e}^{\frac{-x^2+4x-4+4}{2}}dx={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}\frac{1}{\sqrt{2\pi }}x{e}^{\frac{-(x-2{)}^2}{2}+2}dx$

$=e^2{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}\frac{1}{\sqrt{2\pi }}x{e}^{\frac{-(x-2{)}^2}{2}}edx=2e^2$

例题2.

${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}\frac{1}{\sqrt{2\pi }}{x}^2{e}^{4x-\frac{x^2}{2}}dx={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}\frac{1}{\sqrt{2\pi }}{x}^2{e}^{\frac{-x^2+8x-16+16}{2}}dx$

$=e^8{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}\frac{1}{\sqrt{2\pi }}{x}^2{e}^{\frac{-(x-4{)}^2}{2}}dx=17e^8$

 

 

二维正态分布

$(X,Y)\sim N({\mu }_1,{\mu }_2;{\sigma }_1^2,{\sigma }_2^2;\rho )$。

$(X,Y)$服从参数为${\mu }_1,{\mu }_2$（均值），${\sigma }_1,{\sigma }_2$（标准差/均方差），$\rho$（相关系数）的二维正态分布。

$f(x,y)=\frac{1}{2\pi \sqrt{1-{\rho }^2}{\sigma }_1{\sigma }_2}{e}^{-\frac{1}{2(1-{\rho }^2)}[\frac{(x-{\mu }_1{)}^2}{{\sigma }_1^2}+\frac{(y-{\mu }_2{)}^2}{{\sigma }_2^2}-\frac{2\rho (x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2}]}$，其中$-1<\rho <1$

当$X\sim N({\mu }_1,{\sigma }_1^2)$，$Y\sim N({\mu }_2,{\sigma }_2^2)$时，$(a_{1}X+c_1,a_{2}Y+c_2)$不一定服从二维正态分布。其中$a_1,a_2,c_1,c_2$可为任意常数。

当$$(X,Y)\sim N({\mu }_1,{\mu }_2;{\sigma }_1^2,{\sigma }_2^2;\rho )$$，则

1.$X\sim N({\mu }_1,{\sigma }_1^2)$且$Y\sim N({\mu }_2,{\sigma }_2^2)$

2.$a,b$不全为$0$时，$aX+bY+c\sim N(a{\mu }_1+b{\mu }_2+c,a^2{\sigma }_1^2+b^2{\sigma }_2^2+2\rho ab{\sigma }_1{\sigma }_2)$

3.$\frac{a}{b}\ne \frac{c}{d}$时，$(aX+bY,cX+dY)$也服从二维正态分布。

4.$\rho =0$即$X$与$Y$不相关时，$X$与$Y$相互独立，此时$P\{X\mathrm{在}a\mathrm{和}b\mathrm{之}\mathrm{间}，Y\mathrm{在}c\mathrm{和}d\mathrm{之}\mathrm{间}\}=P\{X\mathrm{在}a\mathrm{和}b\mathrm{之}\mathrm{间}\}\cdot P\{Y\mathrm{在}c\mathrm{和}d\mathrm{之}\mathrm{间}\}$

 

 

常见分布的数字特征

若$X$与$Y$相互独立，那么$D(X+Y)=D(X)+D(Y)$

否则$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$

$D(aX+bY+c)=a^{2}D(X)+b^{2}D(Y)+2abCov(X,Y)$

 

协方差$Cov(X,Y)$，即两个随机变量情况下的方差。

性质：

1.$Cov(X,Y)=E(XY)-E(X)\cdot E(Y)$

2.${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\frac{Cov(X,Y)}{{\sigma }_X{\sigma }_Y}$

3.$Cov(X_1\pm X_2,Y)=Cov(X_1,Y)\pm Cov(X_2,Y)$

4.$Cov(aX,bY)=abCov(X,Y)$

 

$3,4$均可以由$1$推出

 

相关系数的性质

$Y=aX+b$ ,如果$a>0$则${\rho }_{XY}=1$，如果$a<0$则${\rho }_{XY}=-1$

 

 

不相关，相互独立时的期望、方差。

 

$X$与$Y$相互独立，可以推出$X$与$Y$不相关。反之不成立。

$X$与$Y$不相关即${\rho }_{XY}=0$ $⟺$ $Cov(X,Y)=0$ $⟺$ $E(XY)=E(X)\cdot E(Y)$ $⟺$ $D(X\pm Y)=D(X)+D(Y)$ （注意这里无论如何都是$+$），其中$X$，$Y$分别可以换成任意未知数只含$X$，$Y$的项。

 

当$(X,Y)$服从二维正态分布时，$X$与$Y$不相关（${\rho }_{XY}=0$）$⟺$ $X$与$Y$相互独立

当$(X,Y)$不服从二维正态分布时，$X$与$Y$不相关（${\rho }_{XY}=0$）$⟸$ $X$与$Y$相互独立

 

切比雪夫不等式

$P\{|X-E(X)|\ge \epsilon \}\le \frac{D(X)}{{\epsilon }^2}$

 

辛钦大数定律

要求：独立同分布。随之而来就有期望和方差相同。

$\underset{n\to +\mathrm{\infty }}{lim}P\{|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E(X_i)|<\epsilon \}=1$

 

 

中心极限定理

若$X_1,X_2,...,X_n$独立同分布。

则$\sum _{i=1}^n{X}_i\sim N(E(\sum _{i=1}^n{X}_i),D(\sum _{i=1}^n{X}_i))=N(nE(X),nD(X))$  。

这里的服从是近似服从。$n$越大越近似。

计算$P\{\sum _{i=1}^n{X}_i\le x\}$，需要先把$\sum _{i=1}^n{X}_i$标准化，变成$P\{\frac{\sum _{i=1}^n{X}_i-nE(X)}{\sqrt{nD(X)}}\le \frac{x-nE(X)}{\sqrt{nD(X)}}\}$

此时由于不等式左边服从标准正态分布$N(0,1)$，所以答案即为$\varphi (\frac{x-nE(X)}{\sqrt{nD(X)}})$

 

 

统计量

$X_{(1)}、X_{(n)}、F_{(1)}(x)、F_{(n)}(x)$

最小观测量$X_{(1)}=min\{X_1,X_2,...,X_n\}$，其分布函数$F_{(1)}(x)=1-[1-F(x){]}^n$

最大观测量$X_{(n)}=max\{X_1,X_2,...,X_n\}$，其分布函数$F_{(n)}(x)=F(x{)}^n$

 

判断统计量：除了$X、S、n$以外，还有其他未知字母的量不是统计量。

 

样本均值$\bar{X}=\frac{X_1+X_2+...+X_n}{n}$

样本方差$S^2=\frac{(X_1-\bar{X}{)}^2+(X_2-\bar{X}{)}^2+...+(X_n-\bar{X}{)}^2}{n-1}$

样本标准差$S=\sqrt{S^2}$

除以$n-1$是为了保证标准差是对总体标准差的无偏估计。

总体方差${\sigma }^2=\frac{(X_1-\bar{X}{)}^2+(X_2-\bar{X}{)}^2+...+(X_n-\bar{X}{)}^2}{n}$

总体标准差$\sigma =\sqrt{{\sigma }^2}$

$\bar{X}$与$S$相互独立

 

 

卡方分布

若$X\sim {\chi }^2(n)$：

$X=X_1^2+X_2^2+...+X_n^2$ （$\mathrm{其}\mathrm{中}{X}_i\sim N(0,1),\mathrm{相}\mathrm{互}\mathrm{独}\mathrm{立}$）

$E(X)=n$，$D(X)=2n$

图像：从原点出发，先增后减。

上$\alpha$分位点：如果后面的阴影部分面积为$\alpha$，那么就是${\chi }_{\alpha }^2(n)$

满足可加性：$X_1\sim {\chi }^2(n)$，$X_2\sim {\chi }^2(m)$。并且相互独立，则$X_1+X_2\sim {\chi }^2(n+m)$

 

$t$分布

若$X\sim t(n)$，则$X=\frac{X_1}{\sqrt{\frac{X_2}{n}}}$ （其中$X_1\sim N(0,1)$，$X_2\sim {\chi }^2(n)$ ，相互独立）

图像：类似于标准正态分布

上$\alpha$分位点：如果后面的阴影部分面积为$\alpha$，那么就是$t_{\alpha }(n)$

 

$F$分布

若$X\sim F(n,m)$，则$X=\frac{\frac{X_1}{n}}{\frac{X_2}{m}}$，（其中$X_1\sim {\chi }^2(n),X_2\sim {\chi }^2(m)$，相互独立）

图像：类似于${\chi }^2$的图像。

上$\alpha$分位点：如果后面的阴影部分面积为$\alpha$，那么就是$F_{\alpha }(n,m)$

 

 

矩估计法

$E(X^k)$：$k$阶原点矩（简称k阶矩）。

$E([X-E(X){]}^k)$：$X$的$k$阶中心矩

均值是一阶矩（原点矩），方差是二阶中心矩。

$E(X^k{Y}^L)$：$X$和$Y$的$K+L$阶混合（原点）矩。

$E([X-E(X){]}^K[Y-E(Y){]}^L)$：$X$和$Y$的$K+L$阶混合中心矩。

协方差是二阶混合中心矩。

思想：$n$较大时，样本矩=总体矩。比如求一阶样本矩和一阶总体矩，就是样本均值和总体均值。令它们相等即可。求得的$\hat{\theta }$即为$\theta$的矩估计量。

 

 

最大似然估计法

思想：使得样本$x_1,x_2,...,x_n$发生的概率最大的$\theta$值最恰当。

第一步：写出样本似然函数：$L(x_1,x_2,...,x_n;\theta )$ ，离散型则是这$n$个概率的相乘，连续型则是密度相乘。

第二步：取对数，$\ln (L(\theta ))$ 。然后求驻点$\hat{\theta }$即为$\theta$的最大似然估计。

 

估计量的无偏性：$E(\hat{\theta })=\theta$，则称$\hat{\theta }$是$\theta$的无偏估计。

估计量的有效性：${\theta }_1,{\theta }_2$均为$\theta$的无偏估计，且$D({\theta }_1)<D({\theta }_2)$，则称${\theta }_1$比${\theta }_2$更有效。

 

置信度：$1-\alpha$，落在中间的概率（置信区间）是是$1-\alpha$。

 

求$\mu$的区间估计

若方差${\sigma }^2$已知，则用$\frac{\bar{x}-\mu }{\frac{\sigma }{\sqrt{n}}}\sim N(0,1)$ 然后计算 $[-z_{\frac{\alpha }{2}},z_{\frac{\alpha }{2}}]$

若方差${\sigma }^2$未知，则用$\frac{\bar{x}-\mu }{\frac{s}{\sqrt{n}}}\sim t(n-1)$ 然后计算$[-t_{\frac{\alpha }{2}}(n-1),t_{\frac{\alpha }{2}}(n-1)]$

 

求${\sigma }^2$的区间估计

若方差$\mu$未知，则用$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$ 然后计算$[{\chi }_{1-\frac{\alpha }{2}}^2(n-1),{\chi }_{\frac{\alpha }{2}}^2(n-1)]$

 

 

 

 

假设检验

第一步：提出假设，$\mathrm{原}\mathrm{假}\mathrm{设}{H}_0:\mu ={\mu }_0$ ，$\mathrm{对}\mathrm{立}\mathrm{假}\mathrm{设}{H}_1:\mu \ne {\mu }_0$

第二步：

检查均值$\mu$

若方差${\sigma }^2$已知，则用$\frac{\bar{x}-z}{\frac{\sigma }{\sqrt{n}}}\sim N(0,1)$      $(U\mathrm{检}\mathrm{验})$

若方差${\sigma }^2$未知，则用$\frac{\bar{x}-z}{\frac{s}{\sqrt{n}}}\sim t(n-1)$    $(T\mathrm{检}\mathrm{验})$

 

检查方差${\sigma }^2$

用$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$     $({\chi }^2\mathrm{检}\mathrm{验})$

 

第三步：拒绝域：小概率事件对应的区间（就是两边的区域）

检查均值$\mu$

若方差${\sigma }^2$已知，则用$W=(-\mathrm{\infty },-z_{\frac{\alpha }{2}})\cup (z_{\frac{\alpha }{2}},+\mathrm{\infty })$ 

若方差${\sigma }^2$未知，则用$W=(-\mathrm{\infty },-t_{\frac{\alpha }{2}}(n-1))\cup (t_{\frac{\alpha }{2}}(n-1),+\mathrm{\infty })$ 

 

检查方差${\sigma }^2$

用$W=(0，{\chi }_{1-\frac{\alpha }{2}}^2(n-1))\cup ({\chi }_{\frac{\alpha }{2}}^2(n-1),+\mathrm{\infty })$ 

 

第四步：做出检验

代入$\bar{x},S,{\sigma }^2$得统计量的值，若该值$\in W$，则拒绝$H_0$