【笔记】概率论与数理统计总复习

首先，老规矩：

未经允许禁止转载(防止某些人乱转，转着转着就到蛮牛之类的地方去了)

B站:Heskey0

---

【概率论】：

第一章：

• 随机事件的概率

第二章：

• 一维随机变量的概率分布
• 一维随机变量的概率和的分布

第三章：

• 二维随机变量的概率分布
• 二维随机变量的概率和的分布

第四章：

• 随机变量的数字特征

第五章：

• 【数理统计】

概率论

Chapter 1.

五大公式：

• 加法公式

  \[p(A\cup B)=p(A)+p(B)-p(AB) \]

• 减法公式

  \[p(A-B)=p(A\bar B)=p(A)-p(AB) \]

• 乘法公式

  \[p(AB)=p(A|B)p(B)=p(B|A)p(A) \]

  其中：

  \[p(A|B)=\frac{p(AB)}{p(B)} \]

  如果 \(p(A|B)=p(A)\)，则 AB 相互独立：

  \[p(AB)=p(A)p(B) \]

  \(A,B\) 互斥：\(AB=\empty\)

  \(A,B\) 对立：\(AB=\empty,A\cup B=S\) 即 \(B=\bar A\)

• 全概率公式

  \[\begin{aligned} p(A)&=p(AB_1)+p(AB_2)\\ &=p(A|B_1)p(B_1)+p(A|B_2)p(B_2) \end{aligned} \]

• 贝叶斯公式

  \[p(B_2|A)=\frac{p(A|B_2)p(B_2)}{p(A|B_1)p(B_1)+p(A|B_2)p(B_2)} \]

注意：

• 不可能事件，概率一定是0，概率是0的事件，不一定是不可能事件

• 必然事件，概率一定是1，概率是1的事件，不一定是必然事件

【例1】\(P(B\cup A)=0.8,p(B)=0.4\)，则 \(P(A|\bar B)=?\)

\[P(A|\bar B)=\frac{P(A\bar B)}{1-P(B)} \]

\[P(B\cup A)=P(A)+P(B)-P(AB)=0.8 \]

\[P(A)-P(AB)=P(A\bar B)=0.4 \]

得：

\(P(A|\bar B)=\frac23\)

【例2】

甲乙射击的命中率分别为0.6, 0.5。

(1) 甲乙两人独立射击目标，则两人中至少一人射中的概率为？

(2) 甲乙任选一人射击目标，则目标被甲射中的概率为？

(3) 甲乙两人独立射击目标，现已知目标被射中，则它是甲射中的概率为？

(4) 甲乙任选一人对同一目标射击一次，先已知目标被射中，则它是甲射中的概率为？

设 \(A_1=\{甲射中\}=0.6,A_2=\{乙射中\}=0.5\)

设 \(B_1=\{选甲\}=0.5,B_2=\{选乙\}=0.5\)

设 \(C=\{射中\}\)

(1)

法一正面做：

\[\begin{aligned} p(A_1\cup A_2)&=p(A_1)+p(A_2)-p(A_1A_2)\\ &=0.6+0.5-0.6*0.5 \end{aligned} \]

法二反面做：

\[1-p(\bar A_1\bar A_2)=1-0.4*0.5 \]

(2)

已知：

\[p(C|B_1)=0.6,p(C|B_2)=0.5 \]

则：

\[p(CB_1)=p(C|B_1)p(B_1)=0.6*0.5 \]

(3)

\[p(A_1|A_1\cup A_2) \]

(4) 贝叶斯公式

\[p(B_1|C)=\frac{p(C|B_1)p(B_1)}{p(C|B_1)p(B_1)+p(C|B_2)p(B_2)} \]

文字题的技巧：

1. 正面做反面做（至多至少）

2. 分清：积事件的概率，条件概率

3. 分清：独立和不独立

Chapter 2.

密度函数：PDF。 某一区间上的积分来刻画随机变量落在这个区间中的概率

分布律：概率质量函数PMF。是离散型随机变量的分布

分布函数：CDF。PDF的积分，离散型或连续型均适用

1: 概率分布：\(P,X\) 的关系

• 离散型随机变量：\(P\{X=x_i\}\) 的一个表格
• 连续型随机变量：\(f(x)\) ( pdf 函数)

2: 概率和分布：\(F(x)=P\{X\le x\}\) 的表达式，单调不减

• 离散型随机变量：\(F(x)=\sum_{k\le x}P(X=k)\) ( 阶梯状函数 )

• 连续型随机变量：\(F(x)\) ( cdf函数 )

• 概率不是可能性大小，概率是一个测度，它是用来测可能性大小的。
• 离散型随机变量的分布函数，只右连续
• 连续型随机变量的分布函数，左连续，且右连续

性质：

• \(p\{a<X\le b\}=F(b)-F(a)\)

• \(p\{X=a\}=p\{X\le a\}-p\{X<a\}=F(a)-F(a^-)\)

• X连续，\(p\{a\le X\le b\}=p\{a< X< b\}=\int_a^bf(x)dx\)

• X连续，\(p\{X=a\}=0\) （连续型变量单点概率为0）

单点概率测不出来，不代表不可能发生，仅仅代表测不出来

Chapter 3.

联合分布：\(P(X=x_i;Y=y_j)\)

边缘分布（离散）：\(P(X=x_i)\) 2:46:30

边缘分布（连续）：

\[f_{Y}(y)=\int_{-\infin}^{+\infin}f(x,y)dx \]

条件分布：

\[f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)} \]

即

\[条件=\frac{联合}{边缘} \]

边缘不等于0

分布函数：

\[F_X(x)=P\{X\le x\}=\lim_{y\rightarrow+\infin}P\{X\le x,Y\le y\} \]

若 \(F(x,y)=F_X(x)F_Y(y)\)，则 \(X,Y\) 独立

充要条件：

• 连续型：\(f(x,y)=f_X(x)f_Y(y)\)

• 离散型：\(P\{X=x_i;Y=y_j\}=P\{X=x_i\}P\{Y=y_j\}\)

Chapter 4.

数学期望

• 离散型

  • 一个随机变量：

    \[E(X)=\sum^{+\infin}_{i=1}P\{X=x_i\} \]

  • 一个随机变量的函数：

    \[E[g(X)]=\sum^{+\infin}_{i=1}g(x_i)P\{X=x_i\} \]

  • 两个随机变量的函数：

    \[E[g(X,Y)]=\sum^{+\infin}_{j=1}\sum^{+\infin}_{i=1}g(x_i,y_j)p\{X=x_i,Y=y_j\} \]

• 连续型

  • 一个随机变量：

    \[E(X)=\int_{-\infin}^{+\infin}xf(x)dx \]

  • 一个随机变量的函数：

    \[E[g(x)]=\int^{+\infin}_{-\infin}g(x)f(x)dx \]

  • 两个随机变量的函数：

    \[E[g(X,Y)]=\int^{+\infin}_{-\infin}dx\int^{+\infin}_{-\infin}g(x_i,y_j)f(x,y)dy \]

方差

• \(D(X)=E(X^2)-E^2(X)\)

协方差

• \(Cov(X,Y)=E(XY)-E(X)E(Y)\)

相关系数

• \(\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}\)

常用分布：见讲义（背下来）

指数分布改为 \(\frac1\lambda e^{-\frac{x}{\lambda}}\)

对应的期望和方差为

• \(\lambda\)
• \(\lambda^2\)

1. 二项分布的背景：伯努利试验：只有成功与失败两种可能结果的试验。成功的概率为p，做n次独立重复试验，X表示试验成功的次数，则X~B\((n,p)\)

2. 正态分布（必考）

   1. X~N\((\mu,\sigma^2)\) ，则\(\frac{X-\mu}{\sigma}\)~N(0,1)即标准正态分布

      \[\begin{aligned} P\{a\le X\le b\}&=P\{\frac{a-\mu}{\sigma}\le\frac{X-\mu}{\sigma}\le\frac{b-\mu}{\sigma}\}\\ &=\Phi(\frac{b-\mu}{\sigma})-\Phi(\frac{a-\mu}{\sigma}) \end{aligned} \]

      其中：

      \(\Phi(X)\) 为标准正态分布函数（查表）

   2. 标准正态概率密度 \(\phi(x)\) 图形是一个对称的凸型

   3. \(\Phi(-X)=1-\Phi(X)\)

   4. \(\Phi(X)\) 单调增

   5. \(\Phi(0)=0.5\)

3. 期望与方差的性质

   • \(E(c)=c\)，\(D(c)=0\)
   • \(E(cX)=cE(X)\)，\(D(cX)=c^2D(X)\)
   • \(E(X+-Y)=E(X)+-E(Y)\)
   • \(D(X+-Y)=D(X)+D(Y)\) ，条件：\(X,Y\) 独立
   • \(D(X+Y)=D(X)+D(Y)-2Cov(X,Y)\)
   • \(E(XY)=E(X)E(Y)\)

同分布：有相同的分布律或概率密度

用于计算的中心极限定理：

• 设\(X_1,X_2,...,X_n\) 独立同分布，则当 \(n\) 充分大时，

  \[\sum_{k=1}^nX_k\sim N(nE(X_k),nD(X_k)) \]

• 设 \(Y\sim B(n,p)\)，则当 \(n\) 充分大时，

  \[Y\sim N(np,np(1-p)) \]

Chapter 5.

5.1 基本概念

样本是相互独立且与总体同分布的随机变量

样本值：样本的取值

统计量：样本的函数

抽样分布：统计量的分布

5.2 切比雪夫不等式与抽样分布

切比雪夫不等式：

\[P\{|X-E(X)|\ge \epsilon\}\le\frac{D(X)}{\epsilon^2} \]

三大分布：

• 卡方分布（ \(\chi^2\) 分布）

  • \(X_1,X_2,...,X_n\) 独立且服从 \(N(0,1)\)
  • 则，\(\chi^2=X_1^2+...+X_n^2\sim \chi^2(n)\)
  • \(\chi^2(n)\) 表示自由度为 \(n\) 的 \(\chi^2\) 分布

• \(t\) 分布

  • \(X,Y\) 独立，\(X\sim N(0,1)\)，\(Y\sim \chi^2(n)\)
  • 规定 \(t=\frac{X}{\sqrt{Y/n}}\sim t(n)\)
  • \(t(n)\) 表示自由度为 \(n\) 的 \(t\) 分布

• \(F\) 分布

  • \(U,V\) 独立，\(U\sim \chi^2(n_1)\)，\(V\sim \chi^2(n_2)\)
  • 规定 \(F=\frac{U/n_1}{V/n_2}\sim F(n_1,n_2)\)

5.3 矩估计与最大似然估计（必考）

• 矩估计值：使 \(E(X)=\bar X\) 的 \(\theta\) 值

• 最大似然估计值：使似然函数 \(L(\theta)\) 取最大值时的 \(\theta\) 值

  似然函数：

  （离散）

\[L(\theta)=\prod_{i=1}^{n}P\{X=x_i;\theta\} \]

​ （连续）

\[L(\theta)=\prod_{i=1}^{n}f(x_i;\theta) \]

解最大似然估计：

1. 写 \(L(\theta)\)
2. 等式两边取对数
3. 求导

求估计量：\(X_i\) 大写

求估计值：\(x_i\) 小写

• 无偏估计：\(E(\hat \theta)=\theta\) 等价于 \(\hat \theta\) 是 \(\theta\) 的无偏估计

5.4 区间估计与假设检验

讲义的表背下来

假设检验：

\(H_0\) 必带等于号（等于，大于等于，小于等于）

步骤

1. 写 \(H_0,H_1\)
2. 算检验统计量
3. 判断是否在拒绝域内，如果不在，则接受 \(H_0\)