目前待补充:停时定理的部分例题。
定义
首先定义样本空间 Ω,是所有样本点(结果)的集合。
随机事件 A 是样本空间的子集。
定义事件和为事件并,积为事件交。
事件域 F 是事件的集合。
满足:
∅∈F,∀A1,A2∈F,A1∪A2∈F,A1∩A2∈F
F⊆Ω,∀A∈F,∁AΩ∈F
这样的定义规避了大量无用的事件属于事件域的问题。
在样本点等可能情况下,概率函数古典定义为:
P(A)=|A||Ω|
然而,现代的公理化定义为:
P 是从 F 到 [0,1] 的映射,满足:
P(Ω)=1,且对于两两不交的事件,有:
P(∪Ai)=∑P(Ai)
概率函数有性质:
P(A)+P(B)=P(A+B)−P(AB),P(A−B)=P(A)−P(AB)
我们将三元组 (Ω,F,P) 为一个概率空间。
条件概率:
在 A 发生条件下,B 发生的概率为:
P(B|A)=P(AB)P(A)
立刻有全概率公式:对于两两不交、和为 Ω 的事件 A1,A2,…,An,有:
P(B)=∑P(B|Ai)P(Ai)
同时有贝叶斯公式:
P(Ai|B)=P(AiB)P(B)=P(Ai)P(B|Ai)∑nj=1P(Aj)P(B|Aj)
独立:事件 A,B 独立当且仅当:
P(AB)=P(A)P(B)
随机变量本质是样本空间映射到实数的一个函数(一般是实数)。
根据定义域分为离散型和连续型。
就是 ∀t∈R,{ω∈Ω:X(ω)≤t}⊆F。
对于随机变量 X,分布函数 F(x)=P(X≤x)。
密度函数为 f(x)。满足:
∫p−∞f(x)dx=F(p)
如果随机变量 X,Y 满足 ∀x,y,P(X≤x,Y≤y)=P(X≤x)P(Y≤y),则称之独立变量。
两两独立的变量集不一定独立。
当然,对于离散型,用等于定义也没错。
有性质:若 X,Y 独立,f(X),g(Y) 独立。f,g 是任意函数。
定义示性函数 IA(ω) 满足:
IA(ω)=[ω∈A]
则可知,E(I)=P(A)。
设离散型随机变量 X 的概率分布为 pi=P{X=xi},若和式
∑pixi
绝对收敛,则称其为 X 的期望,记为 E(X)。
连续型则是:
设密度函数为 f(x)。
∫Rxf(x)dx
期望有线性性,即无论独立性,E(X+Y)=E(X)+E(Y)
相互独立的变量有 E(XY)=E(X)E(Y)。(本质上随机变量是一个函数)
同样可以定义条件期望 E(X|Y=y),有全期望公式:
E(E(X|Y))=E(X)
定义方差 V(X)=E((X−E(X))2)。标准差 σ(X)=√V(X)。
重要公式:
V(X)=E(X2)−E2(x)
在序列上熟知此结论。
若 X,Y 独立,V(X+Y)=V(X)+V(Y)。
概率不等式
Union Bound
设 X1∼Xn 是随机事件,则:
P{n⋃i=1Xi}≤∑P(Xi)
切比雪夫不等式
P((X−E(X))2≥α)≤V(X)α
取 α=c2V(X),其中 c 为一指定常数。那么
P(|X−E(X)|≥cσ)≤1c2
证明:
V(X)=∑ω∈Ω(X(ω)−E(X))2P(ω)
令 F(ω)=(X(ω)−E(X))2。
V(X)≥∑ω∈Ω,F(ω)≥αF(ω)P(ω)
≥∑ω∈Ω,F(ω)≥ααP(ω)
=αP((X−E(X))2≥α)
应用
弱大数定律及证明
我们初中时候知道,可以用频率估计概率,但是似乎没有人解释为什么。
设 X1,X2,…,Xn 是相互独立,满足同一分布的随机变量,具有同一数学期望 E(Xi)=μ。
有:
∀ϵ>0,limn→∞P(|1nn∑i=1Xi−μ|<ϵ)=1
证明:
E(1nn∑i=1Xi)=1nn∑i=1E(Xi)=μ
V(1nn∑i=1Xi)=1nn∑i=1V(Xi)=vn
切比雪夫不等式知,
1≥P(|1nn∑i=1Xi−μ|<ϵ)≥1−Vnϵ2
令 n→∞,即证得弱大数定律。
马尔可夫不等式
若随机变量 X 取值非负,有:
P{X≥a}≤E(X)a
证明:
设事件 A 为 X≥a。
则显然,IA(X)≤Xa
P{X≥a}=E(IA(X))≤E(Xa)=E(X)a
切尔诺夫不等式
用于限制变量偏移期望值程度。
定义 Poisson 试验:
随机变量 X,值域为 {0,1}。P{x=1}=p1,P{x=0}=1−p1。
对于 n 个独立的泊松试验 X1∼Xn,设 X=∑Xi,μ=E(X) 有:
P{|x−μ|≥aμ}≤2exp(−μa23),a∈(0,1)
霍夫丁不等式
设 X1∼Xn 是值域为 [ai,bi] 的随机变量。
设随机变量 X=∑Xi。
那么:
P(|X−E(X)|≥a)≤2exp(−2a2∑ni=1(bi−ai)2)
切尔诺夫界及证明
改写上面的切尔诺夫不等式。
设 μ=E(X)。
P(x≥(1+δ)μ)≤exp(−δ2δ+2μ)
P(x≥(1−δ)μ)≤exp(−δ22μ)
这里第一个式子的限制为 δ≥0,第二个是 δ∈(0,1)。
也可以得到同霍夫丁不等式给出的条件的另一个界:
P(X≥(1+δ)μ)≤exp(−2δ2μ2n(b−a))
下界公式:
P(X≤(1+δ)μ)≤exp(−δ2μ2n(b−a)
经验来说,E(X) 接近 ∑ai 时霍夫丁更给力,否则切尔诺夫更好。
下试证明其上尾。
设 MX(s)=E(esX)。
根据马尔可夫不等式有:
P(x≤a)−P(e−sX≥e−sa)≤E(esx)e−sa
易知,对于独立变量 X1∼Xn,有:
MX(s)=∏MXi(s)
令 Y 为泊松试验,根据 ex≥x+1(x≥0) 可知:
MY(s)=E(esY)≤ep(es−1)
以上可知:
MX(s)=∏MXi(s)≤∏epi(es−1)=e(es−1)∑pi≤e(es−1)μ
马尔可夫不等式知道,
P(X≤(1+δ)μ)≤esμes(1+δ)μ≤e(es−1)μes(1+δ)μ
取 s=ln(δ+1)
上式等于:
(es(1+δ)1+δ)μ
求导易证,
ln(x+1)≥2xx+2,x>0
取上式的 ln,得:
ln(es(1+δ)1+δ)μ=μ(δ−(δ+1)ln(δ+1))≤−δ2δ+2μ
再 exp 一下,得到:
P(x≥(1+δ)μ)≤exp(−δ2δ+2μ)
P4154 [WC2015] 混淆与破解
我有一个长度为 n 的 01 串。
你知道了 Q 次操作,每次操作是这样的:
y[u] = (not (y[v] and y[s])) xor y[d] xor y[e]
这个算法经过一定程度的混淆,即对于比例为 p 的部分是反的。
其中,y 数组的初始值是这个 01 串,即 y[i] 是 01 串的 i 位。
y 的长度为 L,初始 n+1∼L 为 0。
你需要构造一个确定算法,格式为:
zi=xortij=1xj,i∈[1,m],ti 和 xj 是自行指定的。
同时,你需要构造将任意 z 映射到 {0,1} 的函数 h,使得对于 2n 种输入,都有,y[0]=h(z[])。
输入 n,m,L,Q 和 Q 次的五个参数。
保证 h 不能化简为少于 m 个 zi 的函数,即若干 z 线性无关。
n≤64,L≤256,Q≤1024,m∈[1,4]
本 Solution 来自 https://matthew99.blog.uoj.ac/blog/5511。
具体可见其代码,我的代码基本就是 copy 的,就不挂了(
设 si 为 z 对于每个 xi 是否存在的状压。
(感觉原题解在这里的定义有点问题?改了一下,但很可能是我搞错了 qwq)
考虑我随机一个答案,其对应的 s 异或和为 0 的概率为 2−m。
此时对于 x xor s 在给出的函数输出下等于 x 的输出的概率由于噪声为 2p≤0.02。
否则 ∃x 使得 x xor s 不等于 x 的输出。否则 z 不满足线性无关。
输出不同概率为 21−m≥0.125 。
所以我随机的 s 如果满足多次再随机 x 得到的绝大部分都满足等于,那么我就可以确信,它对应一个异或和为 0 的集合。我就得到了一个方程。
根据线性代数(?)知道只需要 n−m 个线性无关的方程,我就可以得到 m 个线性无关解。我就可以得知 z1∼zm,然后可以随机取 max 得到 h。
接下来只需要确定随机的次数。
有至多 0.02 的概率被噪声干扰,至少 0.125 的概率检测到 s 异或和非零。
那么我随机 200 次,取至多 4 次不相等,得到的判断错误的概率为:
这里 μ=0.02×200=4。
有切尔诺夫上界公式
P(x≥(1+δ)μ)≤exp(−δ2δ+2μ)
其中 x 是多次泊松试验的和,μ=E(x),δ>0,是钦点的。
泊松实验是一个随机变量,取值为 1 的概率是 p,取值为 0 概率为 1−p。
取 δ=21/4。
P(X≥4(1+21/4))≤exp(−4×212/422+21/4)=13,992,786
这是出错的概率。
洛谷上 SPJ 有问题,你能得到 40pts。
分布
伯努利试验相关分布
设随机变量 X 只能取 0 和 1 两个值。
其分布为
P{X=0}=1−p,P{X=1}=p,P{X=k}=pk(1−p)1−k
我们称其满足 01 分布。
若一试验只有两个可能结果:A 和 ¯¯¯¯A,则称其为伯努利试验。
n 次重复(有标号)独立伯努利试验称为 n 重伯努利试验。
在 n 重伯努利试验中,容易发现:
设 X 为各试验的和,试验为 1 的概率是 p。
P{X=k}=(nk)pk(1−p)n−k
称 X 满足二项分布。期望为 np,方差为 np(1−p)。
设随机变量 X 为在多次独立重复伯努利试验中,得到一次成功所需要的试验次数。
称 X 满足几何分布。满足:期望为 1p。
P{X=k}=(1−p)k−1p,E(X)=1p,V(X)=1−pp2
设随机变量 X 为在共 N 个样本,K 个不及格样本中抽出 n 个,有 k 个不及格的概率。其中变量为 k。
P{X=k}=(Kk)(N−Kn−k)(Nn)
称其满足超几何分布。期望为 nKN。
其性质参见前面的幼儿园篮球题。
某著名结论
取值 [0,1] 的 n 个连续随机变量的 k 小。
首先设此随机变量为 X。设其概率密度函数为 f(x),概率分布函数为 F(x)=P(X≤x)。
E[X]=∫10xf(x)dx=∫10xdF(x)=[xF(x)]10−∫10F(x)dx=1−∫10F(x)dx=∫10(1−F(x))dx
考虑 P(X≥x),即至多有 m−1 个 <x。
1−F(x)=m−1∑i=0(ni)xi(1−x)n−i∫10(1−F(x))dx=m−1∑i=0(ni)∫10xi(1−x)n−idx=m−1∑i=0B(i+1,n−i+1)(ni)=m−1∑i=01n+1=mn+1
Irwin-Hall 分布
对于 n 个均匀分布于 [0,1] 的连续随机变量 X1,X2,…,Xn,其和的随机变量 X 满足:
P(X≤x)=⌊x⌋∑k=0(−1)k(nk)(x−k)nn!
证明:
设 f(x) 为 Xi 的概率密度函数。显然:
f(x)={1(x∈[0,1])0otherwise
那么
P(X≤x)=∫xi∈[0,1],∑xi≤x∏f(xi)∏dxi=∫xi∈[0,1],∑xi≤x∏dxi
采用归纳法证明。
∫xi∈[0,1],∑xi≤xn+1∏i=1dxi=∫10∫xi∈[0,1],∑ni=1xi≤x−xn+1(n∏i=1dxi)dxn+1=∫10⌊x−xn+1⌋∑k=0(−1)k(nk)(x−k−xn+1)n!dxn+1
记 [x]=x−⌊x⌋,
∫10⌊x−xn+1⌋∑k=0(−1)k(nk)(x−k−xn+1)n!dxn+1=∫[x]0⌊x⌋∑k=0(−1)k(nk)(x−k−xn+1)n!dxn+1+∫1[x]⌊x⌋−1∑k=0(−1)k(nk)(x−k−xn+1)n!dxn+1=⌊x⌋∑k=0(−1)k(nk)(x−k)n+1−(x−k−[x])n+1(n+1)!+⌊x⌋−1∑k=0(−1)k(nk)(x−k−[x])n+1−(x−k−1)n+1(n+1)!=⌊x⌋−1∑k=0(−1)k(nk)(x−k)n+1−(x−k−1)n+1(n+1)!+(−1)⌊x⌋(n⌊x⌋)[x]n+1(n+1)!=⌊x⌋−1∑k=0(−1)k(nk)(x−k)n+1(n+1)!+⌊x⌋∑k=1(−1)k(nk−1)(x−k)n+1(n+1)!+(−1)⌊x⌋(n⌊x⌋)[x]n+1(n+1)!=⌊x⌋−1∑k=0(−1)k(n+1k)(x−k)n+1(n+1)!+(−1)⌊x⌋(n⌊x⌋−1)[x]n+1(n+1)!+(−1)⌊x⌋(n⌊x⌋)[x]n+1(n+1)!=⌊x⌋∑k=0(−1)k(n+1k)(x−k)n+1(n+1)!
不难发现 n=1 时命题成立,证毕。
泊松分布
P{X=k}=λke−λk!,k∈N
则有 X 满足参数为 λ 的泊松分布,记为 X∼π(λ)。
性质:泊松分布的期望、方差均为 λ。
泊松定理可以近似计算二项式分布甚至二项式系数:
设 np=λ。
limn→∞(nk)pk(1−p)n−k=λke−λk!
正态分布
接下来介绍连续随机变量的一种重要分布——正态分布。
概率密度函数(σ,μ 为常数)
f(x)=1σ√2πexp(−(x−μ)22σ2),x∈R
则记 X∼N(μ,σ2)。
下证明:
∫∞−∞1σ√2πexp(−(x−μ)22σ2)dx=1
令 t=x−μσ
=1√2π∫∞−∞e−t2/2dt=I√2π
I2=∫∞−∞∫∞−∞e−(t2+u2)/2dtdu
考虑转化为极坐标,得:
I2=∫2π0∫∞0re−r2/2drdθ
注意到内层积分可以换元求解为 1。
I2=2π,I=√2π
代入原式得
∫∞−∞1σ√2πexp(−(x−μ)22σ2)dx=1√2π∫∞−∞e−t2/2dt=1
正态分布的性质
设标准正态分布
Φ(x)=1√2π∫x−∞e−t2/2dt
则 Φ(x)=1−Φ(−x)。
换元可证:若 X 满足正态分布 X∼N(μ,σ2),则 X−μσ∼N(0,1)。
我们已经知道,很多东西都神奇地满足正态分布性质;但是它满足一个更加惊人的定理。
中心极限定理
设 X1,X2,…,Xn 相互独立且满足同一分布。E(Xi)=μ,D(Xi)=σ2。
则
Yn=∑ni=1Xi−nμ√nσ
的分布函数 Fn(x) 满足:
limn→∞Fn(x)=Φ(x)
读者自证不难。
Min-Max容斥
对于集合 S,有:
max(S)=∑T⊆S,T≠∅min(T)(−1)|T|−1
依据期望的线性性,有:
E(max(S))=∑T⊆S,T≠∅E(min(T))(−1)|T|−1
又有扩展(包括一般集):
E(maxkth(S))=∑T⊆S,T≠∅E(min(T))(−1)|T|−k(|T|−1k−1)
当然可以调换 max min。
[HAOI2015] 按位或
刚开始你有一个数字 0,每一秒钟你会随机选择一个 [0,2n−1] 的数字,与你手上的数字进行或操作。选择数字 i 的概率是 pi。保证 0≤pi≤1,∑pi=1 。问期望多少秒后,你手上的数字变成 2n−1
定义 min 为最先变为 1 的位变得时间,而 max 则是最后。
考虑 min−max 容斥。把每个位看成一个变量,然后发现就是 max(S),每一位的最大值都是 1。
考虑 P(min(T)=k),发现就是至少一个 1,前 k−1 步没有选里面的任何一个位。而第 k 步则需要。
P(minT=k)=(1−P(S⊗T))P(S⊗T)k−1
这是几何分布,是 1−P(S⊗T) 的几何分布。
E(minT)=11−P(S⊗T)
发现 O(3n) 过不去。但是可以FMT求 P(T)。
这里 P(T) 是一次操作能覆盖 T 的概率。
P4707 重返现世
为了变涩,Zhicheng 需要制作变成企鹅的钥匙。Zhicheng 所在的 qq 游戏有 n 种原料,只需要集齐任意 k 种,就可以开始制作。
Zhicheng 来到了迷失大陆的核心地域。每个单位时间,这片地域就会随机生成一种原料。每种原料被生成的概率是不同的,第 i 种原料被生成的概率是 pim 。如果 Yopilla 没有这种原料,那么就可以进行收集。
Zhicheng 急于冲浪,他想知道收集到任意 k 种原料的期望时间。
pi 是整数。
1≤n≤1000 ,1≤k≤n,|n−k|≤10 ,0≤pi≤m,∑p=m,1≤m≤10000 。
定义 max 为一个原料的集合的最晚的那个的出现时间,min 同理。
我容易知道 E(min(T)),就是 m∑i∈Tpi。
我想求 mink,就是 maxn−k+1。
Solution
E(maxkth(S))=∑T⊆S,T≠∅E(min(T))(−1)|T|−k(|T|−1k−1)
我这个的 S 很大,看来不能暴力枚举。
注意到几个特别小的量,设:f(k,i,j) 为考虑到第 i 个,∑pt=j 的
∑T(−1)|T|−k(|T|−1k−1)
对于 i,显然我不选是 f(k,i,j)=f(k,i−1,j)。麻烦的是选。
考虑此时 |T|+1→|T|,发现可以利用加法公式(这也解释了我们为什么要加 k 进状态):
(|T|k−1)=(|T|−1k−1)+(|T|−1k−2)
所以得出了
f(k,i,j)=f(k,i−1,j)−f(k,i−1,j−pi)+f(k−1,i−1,j−pi)
考虑边界。
f(0,0,0)=1,因为 (−1−1) 应当被认为是 1。(定义来看是 0)
Meatherm:还是 Sooke 神的边界看着比较正确!dp[0][0][0]=1 那几篇妹看着怪怪的,咱就是说(
British_union:被乳力(发出 Hanghang 的声音)
PGF
对于一个随机变量 X,其概率生成函数
Gx(z)=∑k≥0P(X=k)zk=∑ω∈ΩP(ω)zX(ω)=E(ZX)
G(1)=1
考虑均值、方差的表示方法:
E(X)=∑k≥0kP(X=k)=∑k≥0P(X=k)kzk−1|z=1=G′(1)
E(X2)=G′′(1)+G′(1)
V(X)=G′′(1)+G′(1)−G′(1)2
注意到
G(t+1)=G(1)+G′(1)1!t+G′′(1)2!t2+…
这样不仅可以避免未定式,还可以容易计算。
标准化的概率生成函数的积等价于两个随机变量的和。
标准化,指 F(x)F(1)→F(x)。这时期望、方差等都满足对应性质。
另外,可以证明:E(xk––)=F(k)(1)。
PGF 和 border 有联系。
P4548 [CTSC2006] 歌唱王国
给你一个数列,值域为 n,长度 m,n,m≤105,现从 1∼n 等概率选择数生成序列,序列中出现该数列子串时停止,求期望长度。多组数据,T≤50。
原题面写的啥()
考虑概率生成函数。设 X 为一随机变量,P(X=a) 为在 a 处停止选择的概率。
我要求 E(X)=F′(1)。
设 F 为 a 的概率生成函数。增设一普通生成函数 G 为在 a 处还未停止的概率。
可以知道,我一次操作后,要么停止,要么不停止,所以:(以下均忽略低次项)
F(x)+G(x)=xG(x)
F′(x)+G′(x)=G′(x)+xG′(x)
令 x=1,则
F′(1)=G(1)
考虑第二个关系。
考虑我在一个未完成的上面去钦定加一个数列,就一定会结束,当然也可能在中途结束。
中途结束的条件:我目前的序列的某个后缀是序列的前缀。
这个后缀前面的东西无关,于是我钦定其为 border。这个时候前面的这一段就可以被认为是一个我要的子串,我就跟 F 扯上了联系。
令 ai 为 a1∼i 是否为 border,可得:
G(x)×(xn)m=F(x)m∑i=1ai(xn)m−i
带入 x=1,根据 F(1)=1 得:
G(1)=m∑i=1aini
然后可以 O(Tm) 求答案。
马尔科夫链
定义 {Xt,t−∈T} 为一随机过程。其中 T 是一无限实数集合,Xt 是依赖于参数 t 的随机变量。
把 t 看作时间,我们把第 Xt 的观察值称为状态。全体状态称为状态空间。
若一随机过程满足:
P{Xt+1=j|X0=i0,X1=i1…,Xt=it}=P{Xi+1=j|Xt=it}
则称 Xt 为马尔科夫链。其满足无记忆性,即一个状态前面的东西不会对这个状态后面产生影响。
我们有个更熟悉的称呼:无后效性。
我们一般研究的是具有平稳转移概率的随机过程。
我们把一步从状态 Xi 转移到状态 Xj 的概率 pij(pij≥0) 排成一个矩阵。
(不会打矩阵)
Pij=pij
矩阵的阶等于状态数。
容易发现,
∀i,∞∑j=0pij=1
直线随机游走。
一个在数轴整点上的粒子,初始在 0,其每一时刻向右运动一单位概率为 p,向左一单位的概率为 q。
求其一步转移矩阵。
i(i+1)=p,Pi(i−1)=q,Pii=1−p−q,Pij=0(|j−i|>1)
科尔莫戈洛夫-切普曼方程
n+m 步转移概率满足
pij(n+m)=∞∑k=0pik(n)pkj(m)
即 n 步转移矩阵
P(n)=Pn
我们知道矩阵快速幂,然后这一类问题就好做了。
遍历性
若 n 步转移概率均具有极限
∀i,limn→∞pij=πj
那么称此马尔科夫链具有遍历性,也就是说不管从哪里出发,长时间转移到状态 j 的概率是固定的。
考察极限分布 π=(π0,π1,…πn),可以得到:
π=πP
其有解的充分不必要条件是
∃m,s.t.,∀i,j,pij(m)>0
试求双状态马尔科夫链极限分布。
P00=1−a,P01=a,P10=b,P11=1−b
limn→∞P00=ba+b+a(1−a−b)na+b=ba+b
其他位置类似(打不出矩阵,,,)
π=(ba+b,aa+b)
P4159 [SCOI2009] 迷路
有向图有 n 个节点,节点从 1 至 n 编号,windy 从节点 1 出发,他必须恰好在 t 时刻到达节点 n。
现在给出该有向图,你能告诉 windy 总共有多少种不同的路径吗?
n≤10,wi≤9,t≤109
考虑边权为 1 的做法。
发现马尔可夫链可以换为方案数,(如果非要概率就 P(t)nt→P(t))。根据科尔莫戈洛夫-切普曼方程,我们只需要求出邻接矩阵的 t 次幂。
最大似然法
若总体属于离散型,其分布律在参数 θ 作用下 P{X=x}=p(x;θ),Θ={θ} 的形式已知,设 X1,X2,…,xn 是 X 的样本,则其联合分布律为:
n∏i=1p(xi;θ)
设 x1,x2…,xn 为一组已知的(实验得出的)样本值,则事件 {∀i∈[1,n],Xi=xi} 发生概率为:
L(θ)=L(x1,x2,…,xn;)=n∏i=1p(xi;θ),θ∈Θ
这称为似然函数。
我们定义最大似然函数:
L(^θ)=maxθ∈ΘL(θ)
这样的与样本值有关的 ^θ(x1,x2,…,xn) 称为最大似然估计值,而统计量 ^θ(X1,X2,…,Xn) 称为最大似然估计量。
我们一般希望知道 ^θ。
很多情形下,p(x,θ) 关于 θ 可微。我们可以通过解
ddθL(θ)=0
得到它。由于 [lnL(θ)]′=L′(θ)L(θ),我们可以通过解
ddθlnL(θ)=0
得到相同解,而后面的方程通常是容易的。
例题:


8s,1024MB。
解:我们考虑把初始集合分配随机权值,然后集合表示为数,集合异或可以表示为数异或。
然后我们可以判断 0 得到 30 分。
我们考虑随机化。考虑我们多次随机把一些数置 0,设置 0 比例为 ci。
再进行多次实验,设得到空集 ai 次,非空集 bi 次。
可以得出,在参数 θ=|T| 的情况下,其概率分布 p(Ai=ai,Bi=bi;θ) 为:
∏(cθi)ai(1−cθi)biL(θ)=∏(cθi)ai(1−cθi)bilnL(θ)=θ∑ailnci+∑biln(1−cθi)
有结论:
若 f 为 I 上的凸函数,g 在 J(f(x)⊂J) 上递增,且凸性相同。
可以证明: g(f) 在 I 上有相同的凸性。
而若干个凸函数的和是凸函数。所以 ln(1−cθi) 为凸函数。
于是你可以三分得到最大似然估计值。
考虑边权不为 1,此时不一定是一步转移矩阵。
但是我们发现可以拆点。具体来说,可以认为我们把 9 时间看成一步,拆出来的点表示目前是 i9,i∈[1,9] 的步数,也就是时间为 i。
细节可见题解。
鞅与停时定理(Doob 停时定理)
注:本文为 OI 起见,略去对鞅可积性和收敛性的讨论。
定义
设 (Ω,F,P) 是概率空间,{Fn}(n≥1) 是 F 的一列子 σ -代数。若 ∀n≥1,Fn⊂Fn+1,则称 {Fn} 是流。
设概率空间 (Ω,F,P) 带流 {Fn},{Xn} 是一列随机实变量。若对于任意 n≥1,Xn∈Fn,则称 {Xn} 适应 {Fn}。
若 {Xn} 满足以下条件:
1.E|X|<+∞;
2.{Xn} 适应 {Fn};
3.∀n≥1,E(Xn+1|Fn)=Xn
那么把 {(Xn,Fn)} 称为鞅。若第三条改为 ∀n≥1,E(Xn+1|Fn)≤Xn,称为上鞅;大于等于则为下鞅。
鞅可以视为公平赌博。未指定流时,我们认为 Fn=σ(X1,X2,…,Xn)。
-什么是 σ -代数?
-是集合的集合,满足其元素可数次交并补仍然在集合中。σ(x1,x2,…,xn) 表示包含 x1,x2,…,xn 的最小 σ -代数。
设
T↦Ω→¯¯¯¯N≜N ∪{+∞}∀n∈N,[T=n]∈Fn
这里 [X=x] 指 {ω∣X(ω)=x},而 Fn 是集合的集合,所以用 ∈.
此时我们称 T 是 {Fn}n≥1 的停时。停时可以看作选择停止观测的时间,这个东西不能与之后的有关。
下面,对于随机变量 X,我们把 X∘T 记为 XT,把 min(T(ω),n) 记为 T∧n(ω)。
定义 X+n=max(0,Xn),X−n=max(0,−Xn)。
鞅性质(选读)
有必要研究其性质以辅助定理的进行。
命题 1.1
(a)若 {(Xn,Fn)},{(Yn,Fn)} 是鞅(resp. 下鞅),那么 {(aXn+bYn,Fn} 是鞅(resp.下鞅)。
根据期望的线性性,这是显然的。
(b)若 {(Xn,Fn)},{(Yn,Fn)} 是下鞅,那么 {(max(Xn,Yn),Fn} 是下鞅。若 {(Xn,Fn)},{(Yn,Fn)} 是上鞅,那么 {(min(Xn,Yn),Fn} 是上鞅。
证明(第一个):
E(max(Xn+1,Yn+1)∣Fn)≥E(Xn+1∣Fn)=XnE(max(Xn+1,Yn+1)∣Fn)≥E(Yn+1∣Fn)=Yn∴E(max(Xn+1,Yn+1)∣Fn)≥max(Xn,Yn)
即证。
命题 1.2
若 {(Xn,Fn)},{(Yn,Fn)} 是鞅(resp. 下鞅),f 是连续凸函数(二阶导数大于 0 的那个),则 {f(Xn),Fn}n≥1 是下鞅。
由琴生不等式
∑αif(xi)≥f(∑αixi)
即证。
停时的性质(选读)
有必要研究其性质以辅助定理的进行。
命题 2.1
确定时刻显然是停时。
命题 2.2
设 T 是随机变量,取值为正整数。以下三者等价:
∀n∈N+(1)[T=n]∈σ(X1,…,Xn)(2)[T≤n]∈σ(X1,…,Xn)(3)[T>n]∈σ(X1,…,Xn)
证明:
注意到:
[T≤n]=n⋃k=1[T=k][T>n]=Ω−[T≤n][T=n]=[T≤n]−[T≤n−1]
这样可以归纳证明之。
命题 2.3
若 S,T 是(同一鞅的)停时,则 T+S,min(T,S),max(T,S) 都是停时。
证明(第一个):
[T+S=n]=n⋃k=0[S=k][T=n−k]∈Fn
命题 2.4
设 {Mn,Fn} 是鞅,T 是其停时且 P(T<+∞)=1,Yn=MT∧n(n≥1),则 {Yn,Fn} 也是鞅。
证明:
Yn=MnI[T>n]+n∑i=1MiI[T=i]E(Yn+1∣Fn)=E(Mn+1I[T≥n+1]∣Fn)+n∑i=1MiI[T=i]=E(Mn+1∣Fn)+n∑i=1MiI[T=i]=Mn+n∑i=1MiI[T=i]=Yn
Wald 等式
设 {Xn}n≥1 是独立同分布变量,T 是其停时,E|X1|<∞,ET<∞则:
E[T∑n=1Xn]=E(X1)E(T)
证明:
T∑n=1Xn=∞∑n=1XnI[n≤T]
注意 {n≤T}={T≤n−1}c,与 Xn 无关。
独立性可知
T∑n=1Xn=∞∑n=1XnI[n≤T]=∑n≥1E(|Xn|)EI[n≤T]=E|X1|∑n≥1P(T≥n)=E|X1|E(T)<∞
停时定理
有界停时定理
设 {Mn}n≥1 是关于 {Xn}n≥1 的鞅。T 是其有界停时且 T≤K,Fn=σ(X1,X2,…,Xn),则:
E(MT∣F1)=M1E(MT)=E(M1)
证明:
改写 MT 为:
MT=K∑i=1MiI[T=i]E|MT|≤K∑i=1E|Mi|<∞
对 MT 取条件期望。
E(MT∣FK−1)=E(K∑i=1MiI[T=i]∣FK−1)=E(K−1∑i=1MiIT=i∣Fk−1)+E(MKI[T=K]∣FK−1)=E(K−1∑i=1MiIT=i)+I[T>K−1]E(MK∣FK−1)=E(K−1∑i=1MiIT=i)+I[T>K−1]MK−1=I[T>K−2]MK−1+K−2∑i=1MiI[T=i]E(MT∣FK−2)=E(E(MT∣FK−1)∣FK−2)=E(I[T>K−2]MK−1+K−2∑i=1MiI[T=i]∣FK−2)=K−2∑i=1MiI[T=i]+E(I[T>K−2]MK−1∣FK−2)=I[T>K−3]MK−2+K−3∑i=1MiI[T=i] [like above]
这样做去,最后,我们得到:
E(MT∣F1)=M1
取期望则得到:
E(MT)=E(M1)
完 全 胜 利
等等还没完全胜利呢,这不是完全体。
杜布停时定理(Doob 停时定理)
如果 {Mn} 是 {Fn=σ(X1,X2,…,Xn)} 的鞅,T 为其停时 ,若:
E|MT|<∞P(T<∞)=1limn→∞E(Mn∣I[T>n])=0
那么
E(MT)=E(M1)
证明:
注意
MT=MTn+MTI[T∧n]−MnI[T>n]E(MT)=E(MT∧n)+E(MTI[T>n])−E(MnI[T>n])
当 n→∞,这是趋于 E(MT∧n) 的,是有界的。
而 {Mn∧T} 是鞅,停时有界,可以得出结论 E(MT)=E(M1)。
OI特化版-势能函数
设 {An}n≥1 是一随机过程,T 为其停时(注意停时的定义不要求鞅)。
求 E(T)。
构造 Φ↦R→R,t↦N+→R,满足:
∀n<T,E(Φ(An+1)−Φ(An)∣Fn)=t(n)E(Φ(AT))=C
令 Xn=Φ(An)+n+1+t(n),则
E(Xn+1∣Fn)=n+1+E(Φ(An+1)∣Fn)=E(Φ(An+1)−Φ(An)∣Fn)+E(Φ(An)∣Fn)+n+1=n+1+t(n)+E(Φ(An)∣Fn)=Xn
故 {(Xn,Fn)} 是鞅,而 T 显然也是其停时。
根据 Doob 停时定理,有:
E(XT)=E(X0)E(Φ(AT))+E(T)=E(Φ(X0))E(T)=E(Φ(X0))−C
只要我们构造出了 Φ 函数,即势能函数,就可以解决问题。
注:我们一般取 t(n)=−1。
例题
这个定理可以解决很多关于随机过程的题目。
P4548 [CTSC2006] 歌唱王国
随机一个数 1∼n 接在歌唱序列后面,问歌唱序列出现给定序列作为子序列的期望随机次数。
这是 PGF 的经典题目,但是也可以应用鞅与停时定理做。
设目标串是 T[1:L]。
考虑这样一个随机变量列 {A(k)m}m≥1,∀k≥1,Ω={s[1:+∞]∣s[i]∈[1,n]∩Z}。
A(k)m=⎧⎪⎨⎪⎩nm−k+1(k≤m∧t[1:m−k+1]=s[k:m]∧m−k+1≤L)1(m<k)0(otherwise)
在匹配之后,我们不妨认为就是要匹配 1111…
可以证明这是鞅且符合停时定理条件。
我们知道,鞅的线性组合是鞅。
所以
Mn=∑k≥1A(k)n−1
是鞅。设 T 为其停时,为
T(s[])=mins[i−L+1:i]=t[1:L]i
可以验证其是停时,且适用 Doob 停时定理,注意 P(T(s[])<+∞)=1。
E(MT)=E(M0)=0MT=T∑k=1A(k)T−1=∑t[1:i]=t[L−i+1:L]ni−TE(MT)=∑t[1:i]=t[L−i+1:L]ni−E(T)=0∴E(T)=∑t[1:i]=t[L−i+1:L]ni
第三个等号成立,因为每个 A(k)T 产生贡献的条件是(已经略去 1 的情况)
s[1:T−k+1]=s[k:T]
注意到
T(s[])=mins[i−L+1:i]=t[1:L]i
所以每个 A(k)T 产生贡献当且仅当其为 border(第一部分是不需要考虑的,因为停时是 min)
CF1025G
我们认为随机变量的取值范围是若干操作。而 {An}n≥1 是一随机变量列 {Mn}n≥1 得到的局面(包括最后的不能操作就不操作),Fn 定义为此时可以得到的局面合集,T 可以定义为此 An 局面只有一个选中点的第一个时间,如此显然符合条件。
构造势能函数倒是不算困难。观察构造方式,发现每个点唯一不同的是于其具有的子节点个数;我们还需要最后状态的势能函数可计算。于是设 Φ(A) 为当前局面 A 的所有点的子节点数的 f 函数值和。
考察 f 函数应该满足什么:如果我们认为
E(Φ(An+1)−Φ(An)∣Fn)=−1
应当被满足,那么:
f(x)+f(y)−1=12(f(x+1)+yf(0))+12(f(y+1)+xf(0))
令 y=x+1,得出 f(x)=−2x+1。
可以证明,它满足原式。那么停时的期望可以知道了。
E(T)=E(Φ(A0))−E(Φ(AT))=Φ(A0)+2x−1−1
CF850F
和上一题差不多。
设 Φ({Ai})=∑f(ai),还是令 t(n)=−1。
那么直接列出式子。令 m=∑ai。
∑f(ai)=1+∑f(ai)+∑i≠jaiaj(Δf(ai)−Δf(aj)m(m−1)
化为
∑i(m−ai)aiΔ2f(ai−1)=m(m−1)
不妨设
Δ2f(x−1)=m−1m−xf(x+1)=m−1m−x+2f(x)−f(x−1)
完成。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· 写一个简单的SQL生成工具
· AI 智能体引爆开源社区「GitHub 热点速览」
· C#/.NET/.NET Core技术前沿周刊 | 第 29 期(2025年3.1-3.9)