概率论与数理统计 期末复习

零：基础知识

常见函数的导数：

\[(\log_a x)' = \frac 1 {x \ln a} \\ (a^x) = a^x \ln a \\ (\tan x)' = \sec^2 x \\ (\cot x)' = -\csc^2 x \\ (\sec x)' = \sec x \tan x \\ (\csc x)' = - \csc x \cot x \\ (\arcsin x)' = \frac 1 {\sqrt{1 - x^2}} \\ (\arccos x)' = - \frac 1 {\sqrt{1 - x^2}} \\ (\arctan x)' = \frac 1 {1 + x^2} \\ (\mathrm{arccot} x)' = - \frac 1 {1 + x^2} \]

泰勒展开：

\[e^x = \sum_{k=0}^{\infty}\frac{x^k}{k!} \\ f(x)=\sum_{k=0}^\infty \frac{f^{(k)}(x_0)\cdot(x-x_0)^k}{k!} \]

第一章：随机事件与概率

概率空间：\((\Omega,F,P)\)

\[P(A - B) = P(A) - P(AB) \\ P(A + B) = P(A) + P(B) - P(AB) \\ 古典概型：P(A) = \frac m n \\ 几何概型：P(A) = \frac{L(A)}{L(\Omega)} \\ 条件概率：P(A|B) = \frac{P(AB)}{P(B)} \\ \]

事件的独立性

第二章：随机变量及其概率分布

分布律：
离散：P
连续：f

二项分布：
n重伯努利试验，事件发生k次的概率为：

\[X\sim B(n,p)\\ p_k = P(X = k) = C_n^k p^k (1 - p)^{n - k}=b(k;n,p), k=0,1,...,n \\ \]

泊松分布：

\[X\sim P(\lambda) \\ P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!}=p(k; \lambda), \lambda >0, k=0,1,... \]

当 n 很大\((n\ge20)\)，p 很小\((p\le0.05)\)时，可用泊松分布模拟，即

\[b(k; n, p) \approx p(k;np) \]

指数分布：

\[f(x) = \lambda e^{-\lambda x}I_{[0,+\infty)}(x)) \]

正态分布：

\[f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\\ X\sim N(\mu, \sigma^2) \rightarrow \frac{x-\mu}\sigma \sim N(0, 1) \]

正态分布具有独立可加性

第三章：多为随机变量及其概率分布

X、Y独立，即：

\[F(x,y)=F_X(x)F_Y(y) \]

泊松分布与正态分布的再生性

卷积公式：

\[若X,Y相互独立，则Z=X+Y有：\\ f_Z(z)=\int_{-\infty}^\infty f_X(x)f_Y(z-x) \]

随机变量最值的分布

第四章：随机变量的数字特征

期望与方差：

• 二项分布：E = np, D = np(1-p)
• 泊松分布：\(E(X) = \lambda,D(X)=\lambda\)
• 均匀分布：\(E(X)=\frac{a+b}2,D(X)=\frac{(b-a)^2}{12}\)
• 正态分布：\(E(X)=\mu,D(X)=\sigma^2\)
• 指数分布：\(E(X)=\frac 1\lambda,D(X)=\frac 1{\lambda^2}\)

期望的存在性：

\[离散：\sum_{k\ge0}|x_k|p_k<\infty时存在\\ 连续：\int_{-\infty}^\infty|x|f(x)dx<\infty 时存在 \]

随机变量的函数的期望：

\[Y=g(x)\\ E(Y)=\int_{-\infty}^\infty g(x)f(x)dx \]

均匀分布中数学期望的几何意义

方差：

\[D(X)=E\{[X-E(X)]^2\}=\int_{-\infty}^\infty[X-E(X)]^2f(x)dx\\ =E[X^2-2E(X)X+E(X)^2]=E(X^2)-E(X)^2 \]

方差的性质：

\[D(CX)=C^2X\\ D(X\pm Y)=D(X)+D(Y)\pm 2E\{[X-E(X)][Y-E(Y)]\}=D(X)+D(Y)\pm 2Cov(X,Y)\\ XY独立时：D(X\pm Y)=D(X)+D(Y) \]

切比雪夫不等式：

\[P[|X-E(X)|\ge\epsilon]\le\frac{D(X)}{\epsilon^2} \]

协方差：

\[Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}=E(XY)-E(X)E(Y) \]

协方差的性质：

\[cov(aX, bY)=abcov(X,Y)\\ cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y) \]

相关系数：

\[\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}} \]

第五章：概率极限定理

中心极限定理：

\[若X_1,X_2,...,X_n独立同分布，且E(X_k)=\mu,D(X_k)=\sigma^2(k=0,1,,...,n)\\ 则有\sum_{k=1}^n X_k \frac{近似}\sim N(n\mu,n\sigma^2) \]

对于X服从两点分布的情况，我们有

\[若P(X_k=1)=p\\ 则\sum_{k=1}n X_k\frac{近似}\sim N(np,np(1-p))\\ 即\frac{X-np}{\sqrt{np(1-p)}}\frac{近似}\sim N(0,1) \]

第六章：数理统计的基本概念

总体：全部可能观察值X
简单随机样本：\(X_1,X_2,...,X_n\)
样本值：\(x_1,x_2,...,x_n\)
统计量：\(g(X_1,X_2,...,X_n)\)（一个不含未知参数的简单随机样本的函数）

\[样本方差：S^2=\frac 1{n-1} \sum_{i=1}^n(X_i-\overline{X})^2 \\ 样本k阶原点矩：A_k=\frac 1 n\sum_{i=1}^nX_i^k \\ 样本k阶中心矩：B_k=\frac 1 n\sum_{i=1}^n(X_i-\overline X)^k \]

\(\chi^2\)分布：

\[X_1,X_2,...,X_n\sim N(0,1)\\ \chi^2=X_1^2+X_2^2+...+X_n^2\sim \chi^2(n) \]

性质：

\[若\chi_1^2\sim \chi^2(n_1)，\chi_2^2\sim \chi^2(n_2)，且\chi_1^2与\chi_2^2独立，则\chi_1^2+\chi_2^2\sim \chi^2(n_1+n_2) \\ 若\chi^2\sim \chi^2(n)，则E(\chi^2)=n，D(\chi^2)=2n \]

t分布：

\[设X\sim N(0,1), Y\sim \chi^2(n)，且X，Y独立，则\\ t=\frac X {\sqrt{\frac Y n}}\sim t(n) \]

当\(n\to\infty\)时，t分布与正态分布相似；
关于Y轴对称

F分布

\[U\sim \chi^2(n_1), V\sim \chi^2(n_2), U与V相互独立，则\\ F=\frac{U/n_1}{V/n_2}\sim F(n1, n2) \]

正态总体样本的平均值和方差的性质：

\[设X_1,X_2,...,X_n是来自正态总体N(\mu,\sigma^2)的样本，\overline X和S^2分别是样本均值和方差，则有：\\ \overline X \sim N(\mu,\frac{\sigma^2}n)（重要）\\ \frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)即\frac{\sum(X_i-\overline X)^2}{\sigma^2}\sim \chi^2(n-1)（重要）\\ \overline X与S^2独立\\ \frac{\overline X-\mu}{\sqrt{S^2/n}}\sim t(n-1) \]

第七章 参数估计

\(\hat{\theta}(X_1,X_2,...,X_n):\theta 的估计量（本质上是一个统计量）\)
\(\hat{\theta}(x_1,x_2,...,x_n)=\hat{\theta}:\theta的估计值\)

矩估计：

\[总体k阶矩：\mu_k=E(X^k)，含有参数\theta\\ 样本k阶矩：A_k=\frac 1 n \sum_{i=1}^nX_k\\ 令\mu_k=A_k，解方程即可 \]

最大似然估计：
解方程使得\(L(\theta)=P(X_1=x_1,X_2=x_2,...,X_n=x_n)\)取得最大值
即

\[L(\theta)=\prod_{i=1}^n P(X_i=x_i)或\prod_{i=1}^n f(x_i)取得最大值 \]

解法：取对数后求导

\(\hat{\theta}的无偏性：E(\hat{\theta})=\theta\)，指示估计量是否均匀分布在实际值两侧
方法：写出\(E(\hat{\theta})\)与\(X_i\)的关系式；写出\(\theta\)与X的关系式；判断是否相等

假设检验

\(\sigma^2\)未知时关于\(\mu\)的检验：

\[检验统计量：\frac{\overline X - \mu_0}{\sqrt{S^2/n}} \\ 拒绝域：W={|检验统计量|>t_{\frac a 2}(n-1)}, 假设\mu=\mu_0\\ W={检验统计量>t_a(n-1)}, 假设\mu \le \mu_0 \]

当样本观测值落入拒绝域中时，认为假设不成立。