概率和期望

概率和期望不得不说的故事。

还是要了解一些概率和期望的基本性质。

以下大多数抄的OIwiki。

样本空间、随机事件

定义

定义样本点：一个随机现象中可能发生的不能再细分的结果。

定义样本空间：所有样本点的集合。通常用\(\Omega\)表示。

定义一个随机事件：是\(\Omega\)的一个子集，由若干样本点构成。随机事件用大写英文字母\(A,B,\cdots\)表示。

定义一个随机事件\(A\)发生了当且仅当存在随机事件的结果\(\omega\in A\)。

事件的运算

定义中随机事件是\(\Omega\)的子集，于是运算同集合的运算。

特别地，可以记事件的并\(A\cup B=A+B\)，称为和事件，记事件的交\(A\cap B=AB\)，称为积事件。

事件域

研究随机现象时我们只关注感兴趣的事件。由随机事件的定义，有\(\mathcal F\subset 2^{\Omega}\)。但二者相等不是必须的。这在\(\Omega\)为无限集时尤其明显（我们需要放弃一些事件来让我们感兴趣的事件在事件域中有比较好的性质）。

我们希望\(\mathcal F\)具有以下性质：

• \(\emptyset\in \mathcal F\)。

• 若\(A\in\mathcal F\)，则\(\overline{A}\in\mathcal F\)。

• 若一系列事件\(A_i\in \mathcal F\)，则\(\bigcup\limits_{i} A_i\in \mathcal F\)。

简言之，事件域在补运算，可数并运算法封闭，且包含\(\emptyset\)。可以证明事件域对可数交运算也封闭。

概率

定义

直接上公理化定义：

概率函数\(P:\mathcal F\to [0,1]\)，满足：

• 规范性：\(P(\Omega)=1\)。

• 可数可加性：若一系列事件\(A_i\)两两不交，则\(P(\bigcup\limits_{i}A_i)=\sum\limits_{i}P(A_i)\)

概率函数性质

对于任意随机事件\(A,B\in\mathcal F\)，有

• 单调性：若\(A\subset B\)，则\(P(A)\le P(B)\)。

• 容斥原理：\(P(A+B)=P(A)+P(B)-P(AB)\)。

• \(P(A-B)=P(A)-P(AB)\)。

概率空间

研究具体的随机现象时，通常关注样本空间\(\Omega\)，事件域\(\mathcal F\)以及概率函数\(P\)，称三元组\((\Omega,\mathcal F,P)\)为一个概率空间。

条件概率

定义条件概率：已知\(A\)发生，在此条件下\(B\)发生的概率。记作\(P(B\mid A)\)。

在概率空间\((\Omega,\mathcal F,P)\)中，若事件\(A\in\mathcal F\)满足\(P(A)>0\)，则定义：

\[P(B\mid A)=\dfrac{P(AB)}{P(A)} \]

一些公式

概率乘法公式：在概率空间\((\Omega,\mathcal F,P)\)中，若\(P(A)>0\)，则对任意事件\(B\)都有\(P(AB)=P(A)P(B\mid A)\)。

全概率公式：在概率空间\((\Omega,\mathcal F,P)\)中，若一组事件\(A_i\)两两不交且和为\(\Omega\)，则对任意事件\(B\)都有\(P(B)=\sum\limits_{i}P(B\mid A_i)P(A_i)\)。

Bayes公式：

\[P(A_i|B)=\dfrac{P(A_iB)}{P(B)}=\dfrac{P(A_i)P(B|A_i)}{\sum\limits_jP(A_j)P(B|A_j)} \]

期望

定义式

\[E[X]=\sum\limits_{k}kP(X=k) \]

离散的时候，后面的概率可以考虑差分。如 \(P(X=k)=P(X\le k)-P(X\le k-1)\)。

这样可以得到 \(E[X]=\sum\limits_k k(P(X\ge k)-P(X\ge k+1))=\sum\limits_k P(X\ge k)\)。

还可以配合 min-max 容斥食用。

期望 DP

一般先设随机变量 \(X\)，然后尝试写出式子。可以用 DP 来求出式子。

也可以尝试直接通过意义直接 DP。

一些注意点

所有方案的权值的平均值与一个方案权值的期望并不等价，前者将每一种方案视为等概率出现，而后者并非如此。

鞅的停时定理

很好的资料 鞅

鞅

定义 鞅：设 \(\{X_n,n\ge 0\}\) 和 \(\{Y_n,n\ge 0\}\) 是随机过程，对任意 \(n\ge 0\)，\(X_n\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函数，\(E|X_n|<\infty\) 且

\[E[X_{n+1}|Y_0,Y_1,\cdots,Y_n]=X_n,\forall n\ge 0 \]

则称 \(\{X_n\}\) 是关于 \(\{Y_n\}\) 的鞅。

有一个经典的情形是公平赌博，这里 \(\{Y_n\}\) 独立同分布。\(Y_i=1\) 或 \(Y_i=-1\) 表示第 \(i\) 次赌博赢或输。\(P(Y_i=1)=P(Y_i=-1)=\dfrac{1}{2},E[Y_i]=0\)。

不妨设 \(b_i\) 表示第 \(i\) 轮投入的钱，赢则得到 \(b_i\)，输则失去 \(b_i\)。\(b_i\) 由前 \(i-1\) 次的输赢情况决定，故可以表示为 \(Y_1,Y_2,\cdots,Y_{i-1}\) 的函数。且保证 \(b_n<\infty\)。

设 \(X_n\) 表示 \(n\) 轮赌博后的收益。于是有 \(X_{n+1}=X_n+b_{n+1}Y_{n+1}\)。可以证明 \(\{X_n\}\) 是关于 \(\{Y_n\}\) 的鞅。

\[\begin{aligned} E[X_{n+1}|Y_1,Y_2,Y_3,\cdots,Y_n]&=E[X_n|Y_1,Y_2,Y_3,\cdots,Y_n]+E[b_{n+1}Y_{n+1}|Y_1,Y_2,Y_3,\cdots,Y_n]\\ &=X_n+b_{n+1}E[Y_{n+1}]\\ &=X_n \end{aligned} \]

停时

以上说明了对于关于 \(\{X_n,n\ge 0\}\) 的鞅 \(\{M_n,n\ge 0\}\)，有 \(E[M_n]=E[M_0],\forall n\ge 0\)。

我们想要知道，如果将固定的 \(n\) 换成随机变量 \(T\)，是否仍有 \(E[M_T]=E[M_0]\)。

一般地，这个结论不成立，但可以在一定条件下成立。这就是鞅的停时定理。其实可以认为描述了在公平的赌博中不可能赢。

以下设概率空间 \((\Omega,\mathcal F,P)\)。

定义 随机时间：设 \(T\) 是 \(\Omega\) 到 \(\{0,1,2,\cdots,+\infty \}\) 的映射，成立 \(\{T\le n\}\in \mathcal F,\forall n\ge 0\)，则称 \(T\) 是一个（离散）随机时间。

定义 停时：设 \(\{X_n,n\ge 0\}\) 是一个随机变量序列，称 \(T\) 是关于 \(\{X_n\}\) 的停时，若对于每一个 \(n\ge 0\) ，\(\{T=n\} \in \sigma(X_0,X_1,X_2,\cdots,X_n)\)。

这里 \(\sigma(X_0,X_1,X_2,\cdots,X_n)\) 是由 \(\{X_0,X_1,X_2,\cdots,X_n\}\) 生成的事件域。通俗地说就是决定在时刻 \(n\) 是否停下只能由前 \(n\) 次的结果决定。

给出停时的例子：

• 确定时间 \(T=n\) 是一个停时。

• \(\{X_n\}\) 首次进入集合 \(A\) 的时间是一个停时。称之首达时。显然这是一个停时。

命题：设 \(T\) 是一个离散随机时间，则下列三者表述等价：

1. \(\{T=n\}\in \sigma(X_0,X_1,X_2,\cdots,X_n)\)

2. \(\{T\le n\}\in \sigma(X_0,X_1,X_2,\cdots,X_n)\)

3. \(\{T>n\}\in \sigma(X_0,X_1,X_2,\cdots,X_n)\)

注意到这三个都可以通过集合的并、补、差得到。

命题：如果 \(S\) 和 \(T\) 是两个停时，则 \(S+T\)、\(\min(S,T)\)、\(\max(S,T)\) 也是停时。

注意到 \(\{S+T=n\}=\bigcup\limits_k(\{S=k\}\cap\{T=n-k\})\in \mathcal F\)，\(\{\min(S,T)> n\}=\{T>n\}\cap\{S>n\}\in\mathcal F\)，\(\{\max(S,T)\le n\}=\{S\le n\}\cap\{T\le n\}\in\mathcal F\)。

又有上面的等价。所以都是停时。

有界停时定理

条件强于鞅停时定理。不太能证，抄在这里：

设 \(\{M_n,n\ge 0\}\) 是一个关于 \(\{X_n,n\ge 0\}\) 的鞅，\(T\) 是一个关于 \(\{X_n,n\ge 0\}\) 的停时且 \(T\le K\) 。

则 \(E[M_T|\sigma(X_0)]=M_0\)。特别地，\(E[M_T]=E[M_0]\)。

看上去很厉害，但是 \(T\) 要有界这个条件太强了，所以其实并不好用。

鞅停时定理

定义 示性函数：设事件 \(A\in \mathcal F\)，\(I_A(\omega)=\begin{cases}1 & \omega\in A\\0 & \omega \not\in A\end{cases}\)，则 \(I_A\) 是随机变量，简记为 \(I_A\) 或 \(I[A]\)。

考虑停时 \(T_n=\min(T,n)\)，

注意到 \(M_T=M_{T_n}+M_TI_{\{T>n\}}-M_nI_{\{T>n\}}\)，

从而 \(E[M_T]=E[M_{T_n}]+E[M_TI_{\{T>n\}}]-E[M_nI_{\{T>n\}}]\)。可以看出 \(T_n\le n\) 是一个有界停时，从而由有界停时定理得 \(E[M_{T_n}]=E[M_0]\)。现在我们想要在 \(n\to \infty\) 时后面两项趋近于 \(0\)。

而鞅停时定理的三条限制就可以保证在 \(n\to \infty\) 时后面两项趋近于 \(0\) 了。

鞅停时定理：

设 \(\{M_n,n\ge 0\}\) 是关于 \(\{X_n,n\ge 0\}\) 的鞅，\(T\) 是停时，且满足：

1. \(P\{T<\infty\}=1\)，

2. \(E[|M_T|]<\infty\)，

3. \(\lim\limits_{n\to \infty} E[|M_n|I_{\{T>n\}}]=0\),

则有

\[E[M_T]=E[M_0] \]

OI中的应用

通过设势能函数得到一个鞅，然后通过鞅停时得知停时的期望。最后推式子随便得到一个势能函数都可以用。

常用的奇技淫巧：等式两边写成项数相同的和式，然后对应项相等。

树上随机游走

来自 P5643 [PKUWC2018] 随机游走

写出从 \(x\) 出发走到 \(S\) 中一点的期望步数 \(f_x\) 的转移：

\[f_x=\dfrac{1}{du_x}f_{fa_x}+\dfrac{1}{du_x}\left(\sum\limits_{y\in son_x} f_y\right)+1 \]

可以直接高消，\(O(n^3)\)，但是有更为简单的。

观察叶子结点处，\(f_x=f_{fa_x}+1\)。这是关于 \(f_{fa_x}\) 的一次函数，可以归纳证对于任意的 \(x\)，\(f_x=K_xf_{fa_x}+B_x\)。

就先假设对于深度大于某个值的成立，然后代入原来的式子，

\[\begin{aligned} f_x&=\dfrac{1}{du_x}f_{fa_x}+\dfrac{1}{du_x}\left(\sum\limits_{y\in son_x}K_yf_x+B_y\right)+1\\ du_xf_x&=f_{fa_x}+\left(\sum\limits_{y\in son_x}K_y\right)f_x+\left(\sum\limits_{y\in son_x}B_y\right)+1\\ f_x&=\dfrac{1}{du_x-\left(\sum\limits_{y\in son_x}K_y\right)}f_{fa_x}+\left(\sum\limits_{y\in son_x}B_y\right)+1 \end{aligned} \]

于是只需

\[\begin{aligned} K_x&\gets \dfrac{1}{du_x-\left(\sum\limits_{y\in son_x}K_y\right)}\\ B_x&\gets \left(\sum\limits_{y\in son_x}B_y\right)+1 \end{aligned} \]

即可。\(O(n)\)。根结点处认为 \(fa_x=0,f_{fa_x}=0\)，故直接 \(f_x=B_x\) 即可。其他位置需要再从上到下推一遍。