频率与概率

合集 - 数学(48)

1.分类算法2020-02-262.数值计算方法2020-08-103.离散数学4 组合数学2020-08-284.离散数学3 代数结构2020-08-285.离散数学2 集合论2020-08-286.离散数学1 数理逻辑2020-08-287.离散数学6 初等数论2020-08-288.高等代数2 向量组2020-08-289.高等代数1 矩阵2020-08-2810.高等数学2 一元函数微分学2020-08-2811.算法导论 快速排序算法学习2020-08-2812.高等数学3 一元函数积分学2020-08-2813.高等数学1 函数 极限 连续2020-08-2814.离散数学5 图论2020-08-2815.我理解的高等代数——1从方格纸到线性空间2022-04-0316.3 逻辑回归2021-12-3117.朴素贝叶斯2021-12-3118.知识扩展4——拉格朗日乘数，KKT条件，对偶问题2021-11-2019.知识扩展3——广义线性模型GLM2021-11-1620.知识扩展2——熵 ，KL散度，交叉熵，JS散度，Wasserstein 距离（EarthMover距离）2021-11-1621.知识扩展1——最大似然估计2021-11-1622.线性回归2021-11-0123.决策树 机器学习，西瓜书p80 表4.2 使用信息增益生成决策树及后剪枝2021-11-0124.模式识别 第一章 概论2020-09-0725.高等代数9 欧几里得空间2020-09-0226.高等代数7 线性变换2020-08-2827.高等代数6 线性空间2020-08-2828.高等代数5 二次型2020-08-2829.高等代数4 线性方程组2020-08-2830.高等代数3 行列式2020-08-2831.矩阵博弈中的混合策略求解2023-02-2232.博弈论与强化学习实战——CFR算法——剪刀石头布2022-12-0633.博弈论与强化学习——— 基础2 马尔科夫博弈2022-11-2034.博弈论与强化学习——基础1 扩展型博弈2022-11-2035.博弈论与强化学习 算法 一 MinimaxQ, NashQ ,FFQ2022-11-2036.路径规划算法2022-11-2037.博弈论算法 CFR算法2022-11-2038.概率论3 随机变量及其分布2022-04-0339.概率论4 随机变量的数字特征2022-04-03

40.频率与概率2022-04-03

41.概率论1 随机试验与独立性2022-04-0342.扩展——向量求导2022-04-0343.扩展—— 向量矩阵张量2022-04-0344.我理解的高等代数3——线性变换2022-04-0345.我理解的高等代数——2坐标系变换与矩阵2022-04-0346.集合论1基数—无穷集合元素的个数03-0847.集合论2序数——从自然数系统到无穷集合的排序03-0848.集合论3 公理化—从罗素悖论到集合的公理化定义03-08

收起

频率与概率

目录

• 频率与概率
• 频率与概率
  • 频率定义
  • 概率定义
• 实际推断原理
• 切比雪夫不等式
• 大数定律
• 中心极限定理
• 概率论与数理统计

频率与概率

频率，描述了事件发生的频繁程度

频率定义

在相同的条件下，进行了$n$次试验，在这$n$次试验，在这$n$次试验中，事件$A$发生的次数$n_A$称为事件$A$发生的频数。比值$n_A/n$称为事件$A$发生的频率，并记为$f_n(A)$

由定义，易见频率具有以下基本性质：

1. $0 \leq f_n(A) \leq 1$
2. $f_n(S)=1$
3. 若$A_1,A_2,\cdots,A_k$是两两互不相容的事件，则$f_n(A_1 \cup A_2\cup \cdots\cup A_k)=f_n(A_1)+f_n(A_2)+\cdots+f_n(A_n)$

事件$A$发生的频率是它发生的次数与试验次数之比，其大小表示$A$发生的频繁程度。

大量试验证实,当重复试验的次数n逐渐增大时,频率$f_n(A)$呈现出稳定性,逐渐稳定于某个常数.这种“频率稳定性”即通常所说的统计规律性。我们让试验重复大量次数,计算频率$f_n(A)$,以它来表征事件A发生可能性的大小.是合适的.
但是，在实际中,我们不可能对每一个事件都做大量的试验,然后求得事件的频率,用以表征事件发生可能性的大小.同时,为了理论研究的需要,我们从频率的稳定性和频率的性质得到启发,给出如下表征事件发生可能性大小的概率的定义.

概率定义

设$E$是随机试验，$S$是它的样本空间。对于$E$的每一事件$A$赋予一个实数，记为$P(A)$，称为事件$A$的概率，如果集合函数$P(\cdot)$满足下列条件：

1. 非负性： 对于每一个事件$A$，有$P(A)\geq 0$

2. 规范性 ： 对于必然事件$S$，有$P(S)=1$

3. 可列可加性： 设$A_1,A_2,\cdots$是两两互不相容的事件，即对于$A_iA_j=\empty,i\neq j,i,j=1,2,\cdots$有

   $P(A_1\cup A_2 \cup \cdots )=P(A_1)+P(A_2)+\cdots$

可以证明，当n→∞时频率$f_n(A)$在一定意义下接近于概率P(A).基于这一事实,我们就有理由将概率P(A)用来表征事件A在一次试验中发生的可能性的大小.

实际推断原理

人们在长期的实践中总结得到“概率很小的事件在一次试验中实际上几乎是不发生的"(称之为实际推断原理)。

切比雪夫不等式

定理 设随机变量$X$具有数学期望$E(X)=\mu$，方差$D(X)=\delta^2$。则对于任意正数$\epsilon$，不等式

$$P\{ |X-\mu| \geq \epsilon\} \leq \frac{\delta^2}{\epsilon^2}$$

切比雪夫不等式给出了在随机变量的分布未知,而只知道$E(X)$和$D(X)$的情况下估计概率$P\{|X- E(X)|<\epsilon\}$的界限。

大数定律

弱大数定理（辛钦大数定理） 设$X_1,X_2,\cdots$是相互独立，服从同一分布的随机变量序列，且具有数学期望$E(X_k)=\mu(k=1,2,\cdots)$。作前$n$个变量的算术平均$\frac{1}{n}\sum_{k=1}^{n}X_k$，则对于任意$\epsilon >0$，有

$$\lim_{n \rightarrow \infty} P\{ |\frac{1}{n}\sum_{k=1}^nX_k-\mu|<\epsilon\}=1 \ \ (1.1)$$

$\{|\frac{1}{n} \sum_{k=1}^n X_k - \mu|<\epsilon\}$是一个随机事件。等式$(1.1)$式表明，当$n \rightarrow \infty$这个事件的趋势趋于1。即对于任意正数$\epsilon$，当$n$充分大时，不等式$|\frac{1}{n}\sum_{k=1}^nX_k-\mu|<\epsilon$成立的概率很大。通俗地说，辛钦大数定理是说，对于独立同分布且具有均值$\mu$的随机变量$X_1,\cdots,X_n$，当$n$很大时它的算术平均$\frac{1}{n} \sum_{k=1}^n X_k$很可能接近于$\mu$。

设$Y_1,Y_2,\cdots,Y_n,\cdots$是一个随机变量序列，$a$是一个常数。若对于任意正数$\epsilon$，有

$$\lim_{n \rightarrow \infty} \{|Y_n - a|< \epsilon\}=1$$

则称序列$Y_1,Y_2,\cdots,Y_n,\cdots$依概率收敛于$a$ ,记为$Y_n \rightarrow^P a$

依概率收敛的序列有以下的性质：设$X_n \rightarrow^P a ,Y_n \rightarrow^P b$ 。又设函数$g(x,y)$在点$(a,b)$连续，则$g(X_n,Y_n) \rightarrow^P g(a,b)$

这样，上述定理又可以叙述为

弱大数定理（辛钦大数定理） 设随机变量$X_1,X_2,\cdots$是相互独立，服从同一分布且具有数学期望$E(X_k)=\mu (k=1,2,\cdots)$，则序列$\bar{X}=\frac{1}{n}\sum_{k=1}^n X_k$依概率收敛于$\mu$,即$\bar{X} \rightarrow^P \mu$。

伯努利大数定理 设$f_A$是$n$次独立重复试验中事件$A$发生的次数，$p$是事件$A$在每次试验中发生的概率，则对于任意正数$\epsilon > 0$，有

$$\lim_{n \rightarrow \infty}P \{ |\frac{f_A}{n}-p|< \epsilon\}=1 \ \ (1.2)\\ 或 \lim_{n \rightarrow \infty}P \{ |\frac{f_A}{n}-p| \geq \epsilon\}=0 \ \ (1.2')$$

伯努利大数定理的结果表明,

对于任意ε>0,只要重复独立试验的次数n充分大,事件${ |\frac{f_A}{n}-p| \geq \epsilon}$是一个小概率事件。由实际推断原理知，这一事件实际上几乎是不发生的，

即在n充分大时事件${ |\frac{f_A}{n}-p| \geq \epsilon}$实际上几乎是必定要发生的。

亦即对于给定的任意小的正数ε,在n充分大时,事件“频率$\frac{f_A}{n}$与概率p的偏差小于$\epsilon$”实际上几乎是必定要发生的。这就是我们所说的频率稳定性的真正含义。

由实际推断原理,在实际应用中,当试验次数很大时,便可以用事件的频率来代替事件的概率。

中心极限定理

概率论与数理统计

概率论是已知总体服从什么分布，从而推断出这个分布有什么样的性质，比如已知分布，求期望方差；

数理统计好比总体是未知的，通过从总体中抽取的样本，目的是来推断总体具有什么样的特点。数理统计的研究内容主要分为两大类：

1. 试验设计，即研究如何对随机现象进行观察和试验，以便更合理更有效地获得试验数据；
2. 统计推断，即研究如何对所获得的有限数据进行整理和加工，并对所考察的对象的某些性质做出尽可能精确可靠的判断。