【笔记】概率论与数理统计总复习

首先，老规矩：

未经允许禁止转载(防止某些人乱转，转着转着就到蛮牛之类的地方去了)

B站:Heskey0

---

【概率论】：

第一章：

• 随机事件的概率

第二章：

• 一维随机变量的概率分布
• 一维随机变量的概率和的分布

第三章：

• 二维随机变量的概率分布
• 二维随机变量的概率和的分布

第四章：

• 随机变量的数字特征

第五章：

• 【数理统计】

概率论

Chapter 1.

五大公式：

• 加法公式

  $$p(A\cup B)=p(A)+p(B)-p(AB)$$

• 减法公式

  $$p(A-B)=p(A\bar B)=p(A)-p(AB)$$

• 乘法公式

  $$p(AB)=p(A|B)p(B)=p(B|A)p(A)$$

  其中：

  $$p(A|B)=\frac{p(AB)}{p(B)}$$

  如果 $p(A|B)=p(A)$，则 AB 相互独立：

  $$p(AB)=p(A)p(B)$$

  $A,B$ 互斥：$AB=\empty$

  $A,B$ 对立：$AB=\empty,A\cup B=S$ 即 $B=\bar A$

• 全概率公式

  $$\begin{aligned} p(A)&=p(AB_1)+p(AB_2)\\ &=p(A|B_1)p(B_1)+p(A|B_2)p(B_2) \end{aligned}$$

• 贝叶斯公式

  $$p(B_2|A)=\frac{p(A|B_2)p(B_2)}{p(A|B_1)p(B_1)+p(A|B_2)p(B_2)}$$

注意：

• 不可能事件，概率一定是0，概率是0的事件，不一定是不可能事件

• 必然事件，概率一定是1，概率是1的事件，不一定是必然事件

【例1】$P(B\cup A)=0.8,p(B)=0.4$，则 $P(A|\bar B)=?$

$$P(A|\bar B)=\frac{P(A\bar B)}{1-P(B)}$$

$$P(B\cup A)=P(A)+P(B)-P(AB)=0.8$$

$$P(A)-P(AB)=P(A\bar B)=0.4$$

得：

$P(A|\bar B)=\frac23$

【例2】

甲乙射击的命中率分别为0.6, 0.5。

(1) 甲乙两人独立射击目标，则两人中至少一人射中的概率为？

(2) 甲乙任选一人射击目标，则目标被甲射中的概率为？

(3) 甲乙两人独立射击目标，现已知目标被射中，则它是甲射中的概率为？

(4) 甲乙任选一人对同一目标射击一次，先已知目标被射中，则它是甲射中的概率为？

设 $A_1=\{甲射中\}=0.6,A_2=\{乙射中\}=0.5$

设 $B_1=\{选甲\}=0.5,B_2=\{选乙\}=0.5$

设 $C=\{射中\}$

(1)

法一正面做：

$$\begin{aligned} p(A_1\cup A_2)&=p(A_1)+p(A_2)-p(A_1A_2)\\ &=0.6+0.5-0.6*0.5 \end{aligned}$$

法二反面做：

$$1-p(\bar A_1\bar A_2)=1-0.4*0.5$$

(2)

已知：

$$p(C|B_1)=0.6,p(C|B_2)=0.5$$

则：

$$p(CB_1)=p(C|B_1)p(B_1)=0.6*0.5$$

(3)

$$p(A_1|A_1\cup A_2)$$

(4) 贝叶斯公式

$$p(B_1|C)=\frac{p(C|B_1)p(B_1)}{p(C|B_1)p(B_1)+p(C|B_2)p(B_2)}$$

文字题的技巧：

1. 正面做反面做（至多至少）

2. 分清：积事件的概率，条件概率

3. 分清：独立和不独立

Chapter 2.

密度函数：PDF。 某一区间上的积分来刻画随机变量落在这个区间中的概率

分布律：概率质量函数PMF。是离散型随机变量的分布

分布函数：CDF。PDF的积分，离散型或连续型均适用

1: 概率分布：$P,X$ 的关系

• 离散型随机变量：$P\{X=x_i\}$ 的一个表格
• 连续型随机变量：$f(x)$ ( pdf 函数)

2: 概率和分布：$F(x)=P\{X\le x\}$ 的表达式，单调不减

• 离散型随机变量：$F(x)=\sum_{k\le x}P(X=k)$ ( 阶梯状函数 )

• 连续型随机变量：$F(x)$ ( cdf函数 )

• 概率不是可能性大小，概率是一个测度，它是用来测可能性大小的。
• 离散型随机变量的分布函数，只右连续
• 连续型随机变量的分布函数，左连续，且右连续

性质：

• $p\{a<X\le b\}=F(b)-F(a)$

• $p\{X=a\}=p\{X\le a\}-p\{X<a\}=F(a)-F(a^-)$

• X连续，$p\{a\le X\le b\}=p\{a< X< b\}=\int_a^bf(x)dx$

• X连续，$p\{X=a\}=0$ （连续型变量单点概率为0）

单点概率测不出来，不代表不可能发生，仅仅代表测不出来

Chapter 3.

联合分布：$P(X=x_i;Y=y_j)$

边缘分布（离散）：$P(X=x_i)$ 2:46:30

边缘分布（连续）：

$$f_{Y}(y)=\int_{-\infin}^{+\infin}f(x,y)dx$$

条件分布：

$$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$$

即

$$条件=\frac{联合}{边缘}$$

边缘不等于0

分布函数：

$$F_X(x)=P\{X\le x\}=\lim_{y\rightarrow+\infin}P\{X\le x,Y\le y\}$$

若 $F(x,y)=F_X(x)F_Y(y)$，则 $X,Y$ 独立

充要条件：

• 连续型：$f(x,y)=f_X(x)f_Y(y)$

• 离散型：$P\{X=x_i;Y=y_j\}=P\{X=x_i\}P\{Y=y_j\}$

Chapter 4.

数学期望

• 离散型

  • 一个随机变量：

    $$E(X)=\sum^{+\infin}_{i=1}P\{X=x_i\}$$

  • 一个随机变量的函数：

    $$E[g(X)]=\sum^{+\infin}_{i=1}g(x_i)P\{X=x_i\}$$

  • 两个随机变量的函数：

    $$E[g(X,Y)]=\sum^{+\infin}_{j=1}\sum^{+\infin}_{i=1}g(x_i,y_j)p\{X=x_i,Y=y_j\}$$

• 连续型

  • 一个随机变量：

    $$E(X)=\int_{-\infin}^{+\infin}xf(x)dx$$

  • 一个随机变量的函数：

    $$E[g(x)]=\int^{+\infin}_{-\infin}g(x)f(x)dx$$

  • 两个随机变量的函数：

    $$E[g(X,Y)]=\int^{+\infin}_{-\infin}dx\int^{+\infin}_{-\infin}g(x_i,y_j)f(x,y)dy$$

方差

• $D(X)=E(X^2)-E^2(X)$

协方差

• $Cov(X,Y)=E(XY)-E(X)E(Y)$

相关系数

• $\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$

常用分布：见讲义（背下来）

指数分布改为 $\frac1\lambda e^{-\frac{x}{\lambda}}$

对应的期望和方差为

• $\lambda$
• $\lambda^2$

1. 二项分布的背景：伯努利试验：只有成功与失败两种可能结果的试验。成功的概率为p，做n次独立重复试验，X表示试验成功的次数，则X~B$(n,p)$

2. 正态分布（必考）

   1. X~N$(\mu,\sigma^2)$ ，则$\frac{X-\mu}{\sigma}$~N(0,1)即标准正态分布

      $$\begin{aligned} P\{a\le X\le b\}&=P\{\frac{a-\mu}{\sigma}\le\frac{X-\mu}{\sigma}\le\frac{b-\mu}{\sigma}\}\\ &=\Phi(\frac{b-\mu}{\sigma})-\Phi(\frac{a-\mu}{\sigma}) \end{aligned}$$

      其中：

      $\Phi(X)$ 为标准正态分布函数（查表）

   2. 标准正态概率密度 $\phi(x)$ 图形是一个对称的凸型

   3. $\Phi(-X)=1-\Phi(X)$

   4. $\Phi(X)$ 单调增

   5. $\Phi(0)=0.5$

3. 期望与方差的性质

   • $E(c)=c$，$D(c)=0$
   • $E(cX)=cE(X)$，$D(cX)=c^2D(X)$
   • $E(X+-Y)=E(X)+-E(Y)$
   • $D(X+-Y)=D(X)+D(Y)$ ，条件：$X,Y$ 独立
   • $D(X+Y)=D(X)+D(Y)-2Cov(X,Y)$
   • $E(XY)=E(X)E(Y)$

同分布：有相同的分布律或概率密度

用于计算的中心极限定理：

• 设$X_1,X_2,...,X_n$ 独立同分布，则当 $n$ 充分大时，

  $$\sum_{k=1}^nX_k\sim N(nE(X_k),nD(X_k))$$

• 设 $Y\sim B(n,p)$，则当 $n$ 充分大时，

  $$Y\sim N(np,np(1-p))$$

Chapter 5.

5.1 基本概念

样本是相互独立且与总体同分布的随机变量

样本值：样本的取值

统计量：样本的函数

抽样分布：统计量的分布

5.2 切比雪夫不等式与抽样分布

切比雪夫不等式：

$$P\{|X-E(X)|\ge \epsilon\}\le\frac{D(X)}{\epsilon^2}$$

三大分布：

• 卡方分布（ $\chi^2$ 分布）

  • $X_1,X_2,...,X_n$ 独立且服从 $N(0,1)$
  • 则，$\chi^2=X_1^2+...+X_n^2\sim \chi^2(n)$
  • $\chi^2(n)$ 表示自由度为 $n$ 的 $\chi^2$ 分布

• $t$ 分布

  • $X,Y$ 独立，$X\sim N(0,1)$，$Y\sim \chi^2(n)$
  • 规定 $t=\frac{X}{\sqrt{Y/n}}\sim t(n)$
  • $t(n)$ 表示自由度为 $n$ 的 $t$ 分布

• $F$ 分布

  • $U,V$ 独立，$U\sim \chi^2(n_1)$，$V\sim \chi^2(n_2)$
  • 规定 $F=\frac{U/n_1}{V/n_2}\sim F(n_1,n_2)$

5.3 矩估计与最大似然估计（必考）

• 矩估计值：使 $E(X)=\bar X$ 的 $\theta$ 值

• 最大似然估计值：使似然函数 $L(\theta)$ 取最大值时的 $\theta$ 值

  似然函数：

  （离散）

$$L(\theta)=\prod_{i=1}^{n}P\{X=x_i;\theta\}$$

​ （连续）

$$L(\theta)=\prod_{i=1}^{n}f(x_i;\theta)$$

解最大似然估计：

1. 写 $L(\theta)$
2. 等式两边取对数
3. 求导

求估计量：$X_i$ 大写

求估计值：$x_i$ 小写

• 无偏估计：$E(\hat \theta)=\theta$ 等价于 $\hat \theta$ 是 $\theta$ 的无偏估计

5.4 区间估计与假设检验

讲义的表背下来

假设检验：

$H_0$ 必带等于号（等于，大于等于，小于等于）

步骤

1. 写 $H_0,H_1$
2. 算检验统计量
3. 判断是否在拒绝域内，如果不在，则接受 $H_0$