概率论与数理统计

第一章 概率论的基本概念

一、概率的定义和性质

1、定义

满足下列条件的试验称为随机试验：

• 可以在相同的条件下重复地进行；
• 每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果；
• 进行一次试验之前不能确定哪一个结果会出现。

样本点：随机试验的每一个可能结果称为样本点。

样本空间S: 所有样本点全体组成的集合称为样本空间。

随机事件：样本空间S的子集称为随机事件，通常用大写字母A,B,C等表示。

2、事件的关系及运算

事件的关系及运算：（如果理解不了，去搜韦恩图表示）

• A包含B： $A \supset B$
• A与B相等： $A=B$
• A与B的和： $A \cup B$
• A与B的积： $AB$ 或 $A \cap B$
• A与B的差： $A-B$
• A与B互斥： $AB = \emptyset$
• A的对立事件： $\bar{A}$

事件运算的性质：

交换律：

结合律：

分配律：

德摩根律：（长杠变短杠，开口变方向）

3、概率和频率的定义

频率：在相同条件下，n次试验中，事件A发生的次数，$n_A / n$ 称为事件A发生的频率

概率：E是随机试验，S是样本空间。对于E的每一事件赋予一个实数，记 $P(A)$，称为事件A的概率。

二、古典概型和几何概型

1、古典概型

引例：张三李四比赛猜拳，谁先赢10局谁就获得1000元。当比分8:7时，中止比赛，按当前结果如果分配这笔奖金？

解答：按8:7或3:2分配都不合理。比赛最多进行4局分成胜负，按照4局计算所有可能结果，最后结果是11:5

定义：一个试验的样本点有限，并且每个样本点出现的可能性相等，那么这个试验就是古典概型，比如仍骰子。

2、几何概型

定义：如果试验是从某一线段（平面、空间）上取一点，并且所取的点在该线段（平面、空间）内的可能性相同，那么这个试验就是几何概型。

三、条件概率

条件概率$P(B|A)$表示已知事件A发生的情况下，事件B发生的概率：

四、全概率公式与贝叶斯公式

韦恩图：B是完备事件组，所有B事件组成样本空间。

全概率公式用法：有完备事件组（如图中事件B），并且知道事件A与完备事件组B的条件概率，那么就可以求事件A发生的概率。

全概率公式：

贝叶斯公式用法：有完备事件组（如图中事件B），并且知道事件A与完备事件组B的条件概率，那么就可以求事件B基于事件A的条件概率。

贝叶斯公式：

五、事件的独立性

设A,B是两个事件，如果满足：

则称事件A,B相互独立。

第二章 随机变量及其分布

一、定义

1、随机变量

定义：随机变量 $X$ 是定义在随机试验样本空间 $S=\{e\}$ 上的单实值函数，记为 $X=X(e)$

笔记：随机变量是为了数值化表示，这样更方便数学研究。$X$ 相当于样本空间，$x$ 相当于样本点。

2、分布律和概率分布密度

离散型随机变量X的所有可能取值为 $x_k (k=1,2,3,...)$ ，X取到各个可能值的概率 $P(X=x_k)=p_k$ ，称为随机变量X的概率论分布，也叫分布律。

举例：骰子每面发生的概率

连续型随机变量X在任意位置的概率若为 $f(x)=P(X=x)$，则称 $f(x)$ 为随机变量X的概率分布密度。

举例：你7:00-9:00起床的概率

3、分布函数

若 $F(X) = P(X<=x)$，称随机变量X的分布函数。分布函数表示将随机变量X<=x的所有取值的概率相加。

分布函数和概率密度的关系：

1. $F(x_2) - F(x_1) = \int_{x_1}^{x_2} f(x) dx = P(x_1 <= X <= x_2)$
2. $F(x) = \int_{-\infty}^{x} f(t) dt$

笔记：分布函数、概率密度 都是为了更方便研究，从不同角度定义的两个函数。

二、离散型随机变量及其分布

1、0-1分布

随机试验的结果只有两个，随机变量X只有两个可能取值0或1，其分布律可以写成：

也可以写成：

2、二项分布

只有两个结果的随机试验成为伯努利试验，独立重复n次，称为n重伯努利试验。（0-1分布是一次伯努利试验）

假设单独一次试验A发生的概率为p，不发生的概率为q（q=1-p），则n次试验中A发生k次的概率为：

我们把n重伯努利试验中A发生的次数，这个随机变量服从的分布称为二项分布，记 $B(n,p)$

3、泊（po）松分布

泊松分布（Poisson distribution）适合于描述单位时间（空间）内随机事件发生的次数。如加油站一个小时内到达的车辆数，一个医院一天内出生的新生儿的数量等等。

泊松分布的分布律：

其中 $\lambda > 0$ 是一个常数，表示单位时间（空间）内随机事件发生的平均次数；k是次数。$X \sim P(\lambda)$ 表示随机变量X服从参数为 $\lambda$ 的泊松分布。

泊松定理：

设 $\lambda > 0$ 是一个常数，n是任意正整数，设 $np_n = \lambda$，则对于任一固定的非负整数k，有

这个定理告诉我们：如果随机变量 $X \sim B(n, p)$，当n很大，p很小时，X近似服从参数 $\lambda = np$ 的泊松分布，即

三、连续型随机变量及其概率密度

1、均匀分布

若连续型随机变量X具有概率密度

则称随机变量X服从均匀分布，记 $X \sim U(a, b)$ 。X的分布函数为

2、指数分布

若连续型随机变量X具有概率密度

其中 $\theta > 0$ 为常数，则称X服从指数分布，记 $X \sim E(\lambda)$ 。 X的分布函数为：

笔记：

• 泊松分布：医院一天内出生新生儿的数量，$\lambda$表示一天内平均出生的数量。
• 指数分布：两个新生儿出生的时间间隔，$\frac{1}{\lambda}$ 表示两个新生儿出生的平均间隔。

3、正态分布

正太分布（Normal distribution），也叫常态分布，高斯分布。

若连续型随机变量X具有概率密度：

其中 $\mu ,\sigma$为常数，则称X服从参数为$\mu ,\sigma$的正态分布，记$X \sim N(\mu, {\sigma}^2)$ 。

若 $X \sim N(0,1)$ ，称X服从标准正态分布，有概率密度：

第三章 多维随机变量及其分布

1、二维离散型随机变量

二维离散型随机变量的概率分布（联合分布律）：

二维离散型随机变量的分布函数：

二维离散型随机变量的边缘分布函数：

独立性：

2、二维连续型随机变量

二维连续型随机变量的联合分布函数：

其中，$f(x,y)$ 是二维连续型随机变量的概率分布函数。

二维连续型随机变量的边缘分布函数：

独立性：

第四章 随机变量的数字特征

1、数学期望

数学期望：随机变量由概率加权的平均值

离散型随机变量的数学期望：

连续型随机变量的数学期望：

2、方差

方差：偏差平方的概率加权平均值，衡量平均偏离程度（稳定性）

标准差或均方差：

切比雪夫不等式：

设随机变量X，其均值和方差都存在，对任意$\epsilon > 0$ 均有：

笔记：切比雪夫不等式描述了，在只知道均值和方差的情况下，可以大概知道该点落在某个区间内的概率。

3、协方差及相关系数

协方差：描述二维随机变量X，Y的线性相关性。

设 $(X, Y)$ 是二维随机变量，且EX和EY都存在，X和Y的协方差记作：

相关系数：由于协方差受量纲（单位）的影响特别严重，如果将每个维度标准化，再计算协方差，通过推理，其结果就是相关系数：

问题1：怎么标准化？

如果这些数据都符合正态分布 $X \sim N(\mu, {\sigma}^2)$ ，其中均值等于$\mu$，方差等于${\sigma}^2$。标准化过程是：

问题2：从协方差到相关系数的推理过程？

4、矩、协方差矩阵

第五章 大数定律及中心极限定理

一、大数定律

大数定理讲了什么：在样本足够多的情况下，随机变量序列的均值收敛于真实的均值；随机事件发生的概率收敛于真实的概率。

大数定理和中心极限定理为什么有很多条：就像0-1分布和伯努利分布，只有一个统一的定律，其它都是在特殊情况下的变种，这些变种是由不同的人发现的。

辛钦大数定律是切比雪夫大数定律的特殊情况；伯努利大数定律是辛钦大数定律的特殊情况。

二、中心极限定理

中心极限定理讲了什么：无论随机变量服从什么分布，在试验足够多的情况下，它们的算术平均值（如平均身高、平均寿命）都近似服从正态分布。当然，在经过标准化，近似服从标准正态分布。

重点理解：这里不是说X服从正态分布，而是在说 抽样分布 近似服从 正态分布。

什么是抽样分布：如随机抽100人计算平均身高为175，如果再进行类似的9次抽样调查，会得到10组平均身高。根据中心极限定理，这10组抽样的分布服从正态分布，所以我们就不会担心源数据具体是什么分布，都能计算出样本的相关统计量（均值和方差）。

具体数学公式就不列了，就像大数定律，这些公式平常用不到。

数理统计

科学研究有两种逻辑思维方法：

• 演绎法（deduction）：从一条公理出发进行推演分析
• 归纳法（induction）：从大量经验事实中总结出最接近本质的原理

概率论是演绎法，已知随机变量的分布，去研究问题。

数理统计是归纳法，通过大量试验总结规律。

数理统计的分类：

• 描述统计学：对随机现象进行观测、试验，以取得有代表性的观测值。如抽样方法、试验设计。
• 推断统计学：对已取得的观测值进行整理、分析，作出推断、决策，从而找出所研究的对象的规律性。参数估计、假设检验、方差分析、回归分析。

第六章 样本及抽样分布

一、随机样本

样本基本概念：

• 总体：试验的全部可能观测值，即随机变量X
• 个体：每一个可能的观测值
• 总体容量：总体中包含的个体的数量
• 抽样调查：从总体中随机抽取一部分个体观测结果
• 样本定义：设总体X是具有分布函数F的随机变量，若 $X_1,X_2,...,X_n$是与X具有同一分布函数且相互独立的随机变量，则称$X_1,X_2,...,X_n$为从总体X得到的容量为n的简单随机样本，简称样本。它们的观测值$x_1,x_2,...,x_n$称为样本值。

二、抽样分布

通过样本观察值我们可以获得一些数据，通过对这些数据进行加工处理，可以对总体进行有效的统计推断。这个加工的过程通常就是对样本构造适当的函数。比如我们求样本的平均值，来推断总体的平均值。而这个构造出来的样本的函数我们称为统计量。

统计量是样本的函数，而样本是随机向量，故统计量也是随机变量，统计量的概率分布称为抽样分布。

统计量：样本的函数，不含未知参数。

定义：设$X_1,X_2,...,X_n$是来自总体X的一个样本，$g(X_1,X_2,...,X_n)$是$X_1,X_2,...,X_n$的函数，若g中不含未知的参数，则称$g(X_1,X_2,...,X_n)$是一个统计量。

常用的统计量：

三、三大抽样分布

什么是抽样分布：如随机抽100人计算平均身高为175，如果再进行类似的9次抽样调查，会得到10组平均身高。根据中心极限定理，这10组抽样的分布服从正态分布，所以我们就不会担心源数据具体是什么分布，都能计算出样本的相关统计量（均值和方差）。

首先要明确的是，所有分布的前提是所收集的样本要服从正态分布，这需要首先进行正态分布的拟合检验，即使是大样本的情况下，样本正态的情况下分析的结论也会更严谨。

抽样分布可以分为两类：一类是关于均值的分布：正态分布和t-分布；另一类是关于方差的分布：
$\mathcal{X}$-分布和F-分布。

1、卡方分布

定义：设 $X_1,X_2,...,X_n$ 相互独立且均来自总体 $X \sim N(0,1)$ ，则称统计量

服从自由度为n的 $\mathcal{X}^2$ 分布，记 $\mathcal{X}^2 \sim \mathcal{X}^2(n)$

2、t 分布

为什么叫t分布？因为作者发表文章的笔名叫"Student"

定义：设 $X \sim N(0,1)$ ，$Y \sim \mathcal{X}^2(n)$ ，且X,Y相互独立，则称统计量

服从自由度为n的 t 分布，记 $t \sim t(n)$

3、F 分布

定义：设 $U \sim \mathcal{X}^2(n_1)$ ，$V \sim \mathcal{X}^2(n_2)$ ，且U,V相互独立，则统计量

服从自由度为 $(n_1, n_2)$ 的F分布，记 $F \sim F(n_1, n_2)$

第七章 参数估计

判断了分布类型后，总体分布中会有一些未知参数，需要用到参数估计的方法：点估计和区间估计。

一、点估计

设总体X的分布函数$F(x;\theta)$的形式已知，$\theta$是待估计参数。$X_1,X_2,...,X_n$是X的一个样本，$x_1,x_2,...,x_n$是相应的一个样本值。点估计就是要构造一个适当的统计量$\hat{\theta}(X_1,X_2,...,X_n)$，用它的观察值$\hat{\theta}(x_1,x_2,...,x_n)作为未知参数$\theta$的近似值。我们称

$\hat{\theta}(X_1,X_2,...,X_n)$ 为 $\theta$ 的估计量，$\hat{\theta}(x_1,x_2,...,x_n)$ 为 $\theta$ 的估计值。

点估计的两种方法：矩估计和最大似然估计。

1、矩估计

用样本矩 估计 总体矩。这里主要是用样本的一阶原点矩（样本均值）来估计总体均值（数学期望）。

2、最大似然估计

最大似然估计的思想是：如果一次试验的结果是A发生了，那么有理由相信A发生的概率就是最大的。因此我们求什么参数取什么值时，这个样本出现的概率最大，就用这个取值作为参数的估计值。

二、区间估计

点估计是对参数估计一个具体的值，而区间估计是对未知参数估计出一个范围。这里主要是对总体的均值和方差进行估计。

主体思想是通过从总体抽取的样本，根据一定的准确度要求，构造出合适的区间，以此作为参数真实值的估计区间。

第八章 假设检验

参考资料

《概率论与数理统计》内容讲解视频
https://www.bilibili.com/video/BV15o4y1R74P?p=22&spm_id_from=pageDriver&vd_source=c680aab5d5ef234c75928d8686b004a5

《概率论与数理统计》知识点总结
https://blog.csdn.net/Aliy66/article/details/123661773

抽样分布有什么用
https://zhuanlan.zhihu.com/p/25250959