学习笔记:概率期望

概率期望

1 样本空间、随机事件

1.1 定义

一个随机现象中可能发生的不能再细分的结果被称为 样本点。所有样本点的集合称为 样本空间,通常用 Ω 来表示。

一个 随机事件 是样本空间 Ω 的子集,它由若干样本点构成,用大写字母 A,B,C, 表示。

对于一个随机现象的结果 ω 和一个随机事件 A,我们称事件 A 发生了 当且仅当 ωA

例如,掷一次骰子得到的点数是一个随机现象,其样本空间可以表示为 Ω={1,2,3,4,5,6}。设随机事件 A 为「获得的点数大于 4」,则 A={5,6}。若某次掷骰子得到的点数 ω=3,由于 ωA,故事件 A 没有发生。

1.2 事件的运算

由于我们将随机事件定义为了样本空间 Ω 的子集,故我们可以将集合的运算(如和、差、交、并、补等)移植到随机事件上。记号与集合运算保持一致。

特别的,事件的并 AB 也可记作 AB,事件的交 AB 也可记作 AB,此时也可分别称作 和事件积事件

因为事件在一定程度上是以集合的含义定义的,因此可以把事件当作集合来对待。

和事件 :相当于 并集 。若干个事件中只要其中之一发生,就算发生了它们的和事件。

积事件 :相当于 交集 。若干个事件必须全部发生,才算发生了它们的积事件。

1.3 事件域

研究具体的随机现象时我们需要明确哪些事件是我们感兴趣的。根据随机事件的定义,显然有 F2Ω(记号 2Ω 表示由 Ω 的所有子集组成的集合族),但 F=2Ω 却不是必须的。这在样本空间 Ω 有限时可能有些难以理解,毕竟 2Ω 尽管更大了但仍然有限。而当 Ω 为无穷集时,2Ω 的势变得更大,其中也难免会出现一些「性质不太好」且我们不关心的事件,这时为了兼顾这些事件而放弃一些性质就显得得不偿失了。

尽管 F=2Ω 不是必须的,这并不代表 2Ω 的任一子集都能成为事件域。我们通常会对一些事件进行运算得到的结果事件的概率感兴趣,因此我们希望事件域 F 满足下列条件:

  • F
  • AF,则补事件 A¯F
  • 若有一列事件 AnF,n=1,2,3,则 AnF

简言之,就是事件域 F 对在补运算、和可数并下是封闭的,且包含元素

可以证明满足上述三个条件的事件域 F 对可数交也是封闭的。

以掷骰子为例,当样本空间记为 Ω={1,2,3,4,5,6} 时,以下两个集合能够成为事件域:

  • F1={,Ω}
  • F2={,{1,3,5},{2,4,6},Ω}

但以下两个集合则不能:

  • F3={,{1},Ω}(对补不封闭)
  • F4={{1,3,5},{2,4,6}}(不含有 且对并不封闭)

2 概率

2.1 引入

假设狗狗 Emissary 在一周内偷卷被 tsqtsqtsq 发现了 10 次,而它这周总共打了 20 次,则狗狗 Emissary 在一周内偷卷被 tsqtsqtsq 发现的概率为 12,形式化地讲:

令狗狗 Emissary 在偷卷被 tsqtsqtsq 发现为事件 A,则易知:

P(A)=1020=12

以此类推,假如狗狗 Emissary 在一个月内偷卷了 100 次,那么不难估计狗狗 Emissary 在一周内偷卷被 tsqtsqtsq 发现的次数大概为 50 次。

2.2 定义

2.2.1 古典定义

在概率论早期实践中,由于涉及到的随机现象都比较简单,具体表现为样本空间 Ω 是有限集,且直观上所有样本点是等可能出现的,因此人们便总结出了下述定义:

如果一个随机现象满足:

  • 只有有限个基本结果;
  • 每个基本结果出现的可能性是一样的;

那么对于每个事件 A,定义它的概率为

P(A)=card(A)card(Ω)

其中 card() 表示对随机事件(一个集合)大小的度量。

2.2.2 统计定义

如果在一定条件下,进行了 n 次试验,事件 A 发生了 N(A) 次,如果随着 n 逐渐增大,频率 NAN 逐渐稳定在某一数值 p 附近,那么数值 p 称为事件 A 在该条件下发生的概率,记做 P(A)=p

2.2.3 公理化定义

概率函数 P 是一个从事件域 F 到闭区间 [0,1] 的映射,且满足:

  • 规范性:事件 Ω 的概率值为 1,即 P(Ω)=1
  • 可数可加性:若一列事件 A1,A2, 两两不交,则 P(i1Ai)=i1P(Ai)

2.3 概率函数的性质

对于任意随机事件 A,BF,有

  • 单调性:若 AB,则有 P(A)P(B)
  • 容斥原理P(A+B)=P(A)P(B)P(AB)
  • P(AB)=P(A)P(AB),这里 AB 表示差集。

2.4 条件概率

若已知事件 A 发生,在此条件下事件 B 发生的概率称为 条件概率,记作 P(B|A)

在概率空间 (Ω,F,P) 中,若事件 AF 满足 P(A)>0,则条件概率 P(B|A) 定义为

P(B|A)=P(AB)P(A)BF

可以验证根据上式定义出的 P(B|A)(Ω,F) 上的概率函数。

根据条件概率的定义可以直接推出下面两个等式:

  • 概率乘法公式:在概率空间 (Ω,F,P) 中,若 P(A)>0,则对任意事件 B 都有

P(AB)=P(A)P(B|A)

2.5 事件的独立性

在研究条件概率的过程中,可能会出现 P(B|A)=P(B) 的情况。从直观上讲就是事件 B 是否发生并不会告诉我们关于事件 A 的任何信息,即事件 B 与事件 A「无关」。于是我们就有了下面的定义

2.5.1 定义

若同一概率空间中的事件 AB 满足

P(AB)=P(A)P(B)

则称 AB 独立。对于多个事件 A1,A2,,An,我们称其独立,当且仅当对任意一组事件 {Aik:1i1<i2<<ikn} 都有

P(Ai1Ai2Air)=k=1rP(Aik)

直观地说,我们认为两个东西独立,当它们在某种意义上互不影响。例如,一个人出生的年月日和他的性别,这两件事是独立的;但一个人出生的年月日和他现在的头发总量,这两件事就不是独立的,因为一个人往往年纪越大头发越少。数学中的独立性与这种直观理解大体相似,但不尽相同。

2.5.2 多个事件的独立性

对于多个事件,一般不能从两两独立推出这些事件独立。考虑以下反例:

有一个正四面体骰子,其中三面被分别涂成红色、绿色、蓝色,另一面则三色皆有。现在扔一次该骰子,令事件 A,B,C 分别表示与桌面接触的一面包含红色、绿色、蓝色。

不难计算 P(A)=P(B)=P(C)=12,而 P(AB)=P(BC)=P(CA)=P(ABC)=14

显然 ABC 两两独立,但由于 P(ABC)P(A)P(B)P(C),故 A,B,C 不独立。

2.5.3 随机事件的独立性

我们称两个事件 AB 独立,当 P(AB)=P(A)P(B)

我们称若干个事件 A1,,n 互相独立,当对于其中的任何一个子集,该子集中的事件同时发生的概率,等于其中每个事件发生的概率的乘积。形式化地说:

P(ETE)=ETP(E).T{A1,A2,,An}

由此可见,若干事件 两两独立互相独立 是不同的概念。

2.5.4 随机变量的独立性

一下用 I(X) 表示随机变量 X 的取值范围。即,如果把 X 看做一个映射,则 I(X) 看做它的值域。

我们称两个随机变量 X,Y 独立,当 P((X=α)(Y=β))=P(X=α)P(Y=β), αI(X),βI(Y),即 (X,Y) 取任意一组值得概率,等于 XY 分别取对应值得概率的乘积。

我们称若干个随机变量 X1,,n 互相独立,当 (X1,X2,,Xn) 取任意一组值得概率,等于每个 Xi 分别取对应值的概率的乘积。形式化地说:

P(i=1nXi=Fi)=i=1nP(Xi=Fi),F1,,ns.t.FiI(Xi)

由此可见,若干随机变量 两两独立互相独立 是不同的概念。

2.6 概率的计算

  • 广义加法公式:对于任意两个事件 A,BP(AB)=P(A)P(B)P(AB)

  • 条件概率:记 P(BA) 表示在 A 事件发生的前提下, B 事件发生的概率。则 P(BA)=P(AB)P(A),其中 P(AB) 为事件 A 和事件 B 同时发生的概率。

  • 乘法公式P(AB)=P(A)P(BA)=P(B)P(AB)

  • 全概率公式:在概率空间 (Ω,F,P) 中,若一组事件 A1,,An 两两不交且和为 Ω,则对任意事件 B 都有

P(B)=i=1nP(Ai)P(B|Ai)

  • 贝叶斯公式

一般来说,设可能导致事件 B 发生的原因为 A1,A2,,An,则在 P(Ai)P(B|Ai) 已知时可以通过全概率公式计算事件 B 发生的概率。但在很多情况下,我们需要根据「事件 B 发生」这一结果反推其各个原因事件的发生概率。于是有

P(Ai|B)=P(Ai)P(B|Ai)P(B)=P(Ai)P(B|Ai)j=1nP(Aj)P(B|Aj)

上式即贝叶斯公式。

2.7 随机变量

直观地说,一个随机变量,是一个取值由随机事件决定的变量。

如果基于概率的公理化定义,那么一个随机变量。形式化地说——是一个从样本空间 S 到实数集 R(或者 R 的某个子集)的映射 X 。如果 X(A)=α,你可以直观理解为:当随机实验 E 取结果 A 时,该随机变量取值 α

由此可以看到,“随机变量 X 取值 α ”(简记为 X=α)也对应着一个能实现该命题的单位事件集合,因此它也是一个事件,于是也有与之对应的概率 P(X=α)

3 期望

3.1 引入

想象一下这样一个场景:狗狗 Emissary 想找 tsqtsqtsqslay,但是 tsqtsqtsq 今天想搞卷,于是他想出了这样个办法:

  • 如果狗狗 Emissary 在今天的 clg round 中获得大于 300 pts,tsqtsqtsq 就会陪它打三小时。
  • 如果狗狗 Emissary 在今天的 clg round 中获得大于 200 pts,tsqtsqtsq 就会陪它打两小时。
  • 如果狗狗 Emissary 在今天的 clg round 中获得大于 100 pts,tsqtsqtsq 就会陪它打一小时。
  • 如果狗狗 Emissary 在今天的 clg round 中获得大于 0 pts,tsqtsqtsq 就会陪它打半小时。

因为狗狗 Emissary 很强,所以它不会保龄。

试求 tsqtsqtsq 陪狗狗 Emissaryslay 的期望时长。

我们首先根据条件列出下面这张表格:

分数 时长 概率
(300,400] 3 小时 14
(200,300] 2 小时 14
(100,200] 1 小时 14
(0,100] 0.5 小时 14

令狗狗 Emissary 在今天的 clg round 中获得大于 300 pts为事件 A。以此类推,其余三种事件分别为 BCD,再令期望时长为 E(X),不难求出期望时长为:

E(X)=P(A)×3+P(B)×2+P(C)×1+P(D)×0.5=14×3+14×2+14×1+14×0.5=138=1.625

所以 tsqtsqtsq 陪狗狗 Emissaryslay 的期望时长为 1.625 小时,即 97.5 分钟。

大数定律表明,随着重复次数接近无穷大,数值的算术平均值几乎肯定地收敛于期望值,即令第 iclg roundtsqtsqtsq 陪狗狗 Emissaryslay 的时长为 fi,总共有 xclg round,则有:

limxi=1xfix=E(X)

所以在打了不知道多少场 clg round 之后 tsqtsqtsq 陪狗狗 Emissaryslay 的时长肯定会趋近于这个期望时长。

3.2 定义

如果一个随机变量的取值个数有限(比如一个表示骰子示数的随机变量),或可能的取值可以一一列举出来(比如取值范围为全体正整数),则它称为 离散型随机变量

形式化地说,一个随机变量被称为离散型随机变量,当它的值域大小 有限 或者为 可列无穷大

一个离散性随机变量 X数学期望 是其每个取值乘以该取值对应概率的总和,记为 E(X)

E(X)=αI(X)αP(X=α)=ωSX(ω)Y(ω)

其中 I(X) 表示随机变量 X 的值域,S 表示 X 所在概率空间的样本集合。

3.3 性质

  • 全期望公式E(Y)=αI(X)P(X=α)E(Y(X=α)),其中 X,Y 是随机变量,E(YA) 是在 A 条件成立下 Y 的期望(即“条件期望”)。可由全概率公式证明。
  • 期望的线性性 :对于任意两个随机变量 XY不要求相互独立),有 E(λX+μY)=λE(X)μE(Y) 。利用这个性质,可以将一个变量拆分成若干个互相独立的变量,分别求这些变量的期望值,最后相加得到所求变量的值。
  • 乘积的期望 : 当两个随机变量 XY 相互独立时,有 E(XY)=E(X)E(Y)

3.4 期望与概率的转化

对于随机事件 A,考虑其示性函数 IA

IA(ω)={1,ωA0,ωA

根据定义可以求得其期望 EIA=P(A)。这一转化在实际应用中非常常见。

3.5 条件分布与条件期望

我们之前研究过条件概率,类似的也可以提出所谓条件期望的概念。

3.5.1 定义

对于两个随机变量 X,Y,在已知 Y=y 的条件下 X 的概率分布(密度函数)称之为 条件概率分布(条件概率密度),分别记作

P(X=xi|Y=y)fX|Y(x|y)

在此条件下,X 的期望称为 条件期望,记作 E[X|Y=y]

3.5.2 条件期望的性质

条件期望的诸多性质可由条件概率推知,在此不做赘述。

值得一提的是 E[X|Y] 一般是随机变量 Y 的函数,且这个函数通常不是线性的。但实际上有

E[E[X|Y]]=EX

上式称作 全期望公式

4 常用的套路以及技巧

i=0nxi=1=xn+11x

n 时:

i=0xi=11x

4.1 前缀和技巧

对于离散变量, P(X=K)=P(XK)P(XK1)

4.1.1 例 1

n 个随机变量 X1,,n,每个随机变量都是从 [1,S] 中随机一个整数,求 max(X1,,n) 的期望。

E(max)=i=1SP(max=i)i=i=1S(P(maxi)P(maxi1))1=i=1S(inSn(i1)nSn)i

4.1.2 例 2

概率为 p 的事件期望 1p 次之后发生。

E(X)=iP(X=i)i=iP(Xi)P(Xi1)i=i((1p)i1(1p)i)i=n=0[(1p)i(1p)i+1]=i=0(1p)i=11(1p)=1p

4.2 拿球问题

4.2.1 例 1

箱子里有 i 个球 1n,你要从里面拿 m 次球,拿了后不放回,求取出的数字之和的期望。

i=1nP(i)×i=i=1nmn×i=mn×n×(n+1)2=m×(n1)2

4.2.2 例 2

箱子里有 i 个球 1n,你要从里面拿 m 次球,拿了后放回,求取出的数字之和的期望。

放不放回概率是一样的,所以:

ans=m×(n1)2

4.2.3 例 3

箱子里有 n 个球 1n,你要从里边拿 m 次球,拿了之后有 1p1 的概率放回,求取出的球上数字和的期望。

从拿了第一个球和第二个球来看,如果题目中没有要求有概率放回,如果是典例 1 的那种情况,第一次取得时候每一个球被取中的概率为 1n,第二次取得时候每个球被取中的概率为 1n1

如果加上限制,分别看两种情况。

看拿了第一个球之后,放回的概率就是 1p1,这个时候再拿第二个球每个球被取中的概率为 1p1×1n=1P1n

我们把不放回的概率设为 p11p1,如果不放回,取到每一个球的概率就是 n1n×1n1,前后乘起来就是:p11p1n

两种情况算期望的时候为 P1×iP2×i,会发现合并起来就是 1n×i ,和上边的一样,所以选 m 次的概率,选中 i 的概率还是 mn

ans=m×n12

4.3 游走问题

4.3.1 例 1

在一条 n 个点的链上游走,求从一端走到另一端的概率。

Xi 表示 i 走到 i1 期望走多少步。

E(n)=i=1nE(Xi)E(Xi)=1212×(1E(Xi1)+E(Xi))E(Xi)=121212×E(Xi1)12×E(Xi)E(Xi)=E(Xi1)2E(n)=1352×n3=(n1)3

4.3.2 例 2

在一个 n 个点的完全图上游走,求期望走多少步才能走到另一个点。
解:

每个点到其他点的概率都是 1n1,所以期望就是 n1 次成功。

4.3.3 例 3

在一张 2×n 个点的完全二分图上游走,求从一个点走到另一个点的概率。
解:

左边等价,右边等价。

  • 两点在同侧:1nn1n×(2A)
  • 两点在异侧:1A

4.3.4 例 4

在一张 n 个点的菊花图上游走,求一个点走到另一个点的概率。

  • A.根到叶:1n1n2n1×(2A)
  • B.叶到根:1
  • C.叶到叶:A1

4.3.5 例 5

在一棵 n 个点的树上游走,求从根节点走到 x 的期望步数。

Xi 表示从 i 点游走,走到 fatheri 的期望步数,dii 的入度。

fx=1dx1dx×i=1dx(1fsonxfx)

4.4 经典问题

4.4.1 例 1

每次随机取一个 [1,n] 的整数,问期望多少次能够凑齐所有的数。

考虑每次取得时候取中以前没取过的数的概率,显然是 i=1nnin

上边那个东西也等于 i=1in,期望就是 i=1ni

4.4.2 例 2

随机一个长度为 n 的排列 p,求 P1.,Pi 中的最大值为 Pi 的概率。

i=1n1n

每个前缀中,最大值都有 i 个位置可以选,所以是 1i

4.4.3 例 3

随机一个长度为 n 的排列 p,求 ij 后边的概率。

12,挺显然的。

4.4.4 例 4

随机一个长度为 n 的排列 p,求它包含 wi,i[1,m] 为子序列 / 子串的概率。

  • 子序列,(nm)×(nm)!n!=1m!,把他想想象成很多方块,每个方块都能放一个数,因为是子序列,就从里边选 m 个块,放这个子序列,剩下的可以随便放,挺显然的。
  • 子串,(nm1)×(nm)!n!=(nm1)!n!,考虑剩下的 nm 个数都放好了,有 (nm)!n! 种方案,然后从 nm1 个空中任选一个插入长度为 m 的子串,就是上边那个式子。
posted @   tsqtsqtsq  阅读(44)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 【译】Visual Studio 中新的强大生产力特性
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
点击右上角即可分享
微信分享提示