弱大数定律的等价表述

大数定律是概率论早期就开始研究的一个重要的问题, 我们知道, 有刻画一阶矩存在性的强大数定律 (strong law of large numbers):

定理 (Колмого́ров)
对于一列独立同分布的随机变量 \(X_1, X_2, \dots\), TFAE:

• \(\mathbb E |X_1|\) 有限.
• 存在一个实数 \(\mu\), \(\frac 1 n \sum_{i=1}^n X_i\) 几乎一定收敛到 \(\mu\) (此时 \(\mu = \mathbb E X_1\)).

我们知道 "几乎一定收敛" (\(\Pr[Y_n\to c] = 1\)) 是蕴含 "依概率收敛" (\(\forall \varepsilon > 0, \Pr[|Y_n-c|>\varepsilon]\to 0\)) 的, 在诸如 Durret 的教材中, 我们有如下表述的弱大数定律:

定理
对于一列独立同分布的随机变量 \(X_1, X_2, \dots\), 如果 \(x\Pr[|X| > x] \to 0\), 那么对任意 \(\varepsilon>0\) 我们有

\[\Pr\left[ \left|\frac 1 n \sum_{i=1}^n X_i - \mu_n\right| > \varepsilon\right] \to 0, \]

其中 \(\mu_n = \mathbb E [ X_1 \mathbb I \{|X_1|\leq n\} ]\).

那么在 \(\mu_n\) 有一个极限的时候, 我们其实就有了依条件收敛到某个值, 而且这个值还挺类似于我们讨论广义积分收敛时候的那个结果.

那么问题来了... 这个弱律有没有等价表述呢? 我本来觉得课本上没写大概是没有很好的 (雾), 但是做作业的时候查到了一点东西, 发现在一些少部分教材上其实是会告诉你的... 但是感觉这个还是不常见, 因此记录一下.

定理
对于一列独立同分布的随机变量 \(X_1, X_2, \dots\), 如果 \(x\Pr[|X| > x] \to 0\), TFAE:

1. \(x\Pr[|X| > x] \to 0\), 且 \(\mathbb E [ X \mathbb I \{|X|\leq n\} ]\to \mu\).
2. \(\frac 1n \sum_{i=1}^n X_i\) 依概率收敛到 \(\mu\).
3. \(X\) 的特征函数满足 \(\varphi'(0) = \mathrm{i}\mu\).

首先 1 到 2 就是弱大数定律, 3 到 2 几乎是 Lévy 连续性定理的直接推论, 我们略过.

2 到 1

关键在于从 2 推 1 时候的一个比较具有技术性的处理方法. 首先如何说明 \(x\Pr[|X| > x] \to 0\) 呢? 描述依概率收敛的利器是特征函数, 我们知道 2 等价于对每个 \(t\) 有 \(\varphi(t/n)^n \to e^{\mathrm i \mu t}\). 巧妙之处在于进行如下的两步过程: 首先对 \(X\) 是对称随机变量的情况进行论证, 其次再考虑一个和 \(X\) 同分布的 \(Y\), 利用 \(X-Y\) 是对称随机变量来控制 \(X\) 本身.

对称情形

我们先考虑第一步. 当 \(X\) 是对称随机变量的时候, 特征函数 \(\varphi\) 取值是实数, 这适合我们进行一些不等式的操作. \(e^{\mathrm i \mu t}\) 此时总是实数, 那一定有 \(\mu = 0\), 也就是说 \(\varphi(t/n)^n\to 1\). 我们取对数, 得到

\[\frac{\log \varphi(t/n)}{1/n} \to 0, \]

而我们知道 \(\varphi(t/n) \to 1\), 也就有 \(n(\varphi (t/n)-1)\to 0\).

注意 \(n(1-\varphi(t/n))\geq 0\), 我们考虑它的积分

\[\int_0^1 n(1-\varphi(t/n)) \mathop{\!}\mathrm{d} t, \]

有界收敛定理告诉我们, 这个积分的值趋于 \(1\).

而另一方面, 我们用特征函数的定义展开, 用 Fubini, 可以得到

\[\int_0^1 n(1-\varphi(t/n)) \mathop{\!}\mathrm{d} t = n\int \left(1 - \frac{\sin (x/n)}{x/n}\right) \mathop{\!}\mathrm{d} P. \]

利用估计, \(|t|\geq 2\) 的时候有 \(1 - \sin t / t \geq 1/2\), 这告诉我们

\[\int_0^1 n(1-\varphi(t/n)) \mathop{\!}\mathrm{d} t \geq n \int_{|X| > 2n} \frac 12 \mathop{\!}\mathrm{d} P = \frac n 2 \Pr[|X| > 2n]. \]

由于左侧趋于 \(0\), 我们就得到了 \(n\Pr[|X|>n] \to 0\). (显然这足够给出 \(x\Pr[|X|>x]\to 0\).)

回顾我们上面的缩放, 发现如果是复数的话是很难操作的. (我自己想的时候就是因此退缩了)

一般情形

现在我们来正式证明 2 到 1. 考虑让 \(Y_1\dots,\) 也是和 \(X\) 独立同分布的随机变量, 那么 \(\frac 1 n \sum_{i=1}^n (X_i-Y_i)\) 显然是依概率收敛到 \(0\) 的, 而且 \(X-Y\) 是对称随机变量. 这直接告诉我们 \(x\Pr [|X-Y| > x] \to 0\).

注意到这个性质的平移不变的, 我们可以不妨考虑 \(X' = X-m, Y' = Y-m\), 其中 \(m\) 是 \(X\) 的中位数, 也即 \(\Pr[X\geq m] , \Pr[X\leq m]\geq 1/2\).

那么, 我们就有

\[\frac 12 \Pr[|X|>x] \leq \Pr[X>x, Y\leq 0] + \Pr[X<-x, Y\geq 0]\leq \Pr[|X-Y| > x]. \]

因此我们有 \(x\Pr[|X|>x] \to 0\).

那么我们就有弱大数定律给出了 \(\mu_n \to \mu\).

到 3

为了方便处理特征函数, 我们还有一件事要做. 回顾刚才对对称函数的估计, 我们还可以得到另一个不等式 \(\frac 1 n \mathbb E [ X^2 \mathbb I \{|X|\leq n\} ]\to 0\):

根据泰勒展开, 对于对称随机变量, 我们可以在 \(|t|\leq 1\) 的地方得到 \(1 - \sin t/t \geq t^2 / 10\), 因此

\[\int_0^1 n(1-\varphi(t/n)) \mathop{\!}\mathrm{d} t \geq n \int_{|X| \leq n} \frac 1{10} (X/n)^2 \mathop{\!}\mathrm{d} P = \frac {1}{10n} \mathbb E [ X^2 \mathbb I \{|X|\leq n\} ]. \]

因此 \(\frac 1 n \mathbb E [ X^2 \mathbb I \{|X|\leq n\} ]\to 0\). 推广到一般随机变量的方式也是差不多的.

最后, 我们就可以用分段积分来控制特征函数了:

\[\begin{aligned} \left|\frac{\varphi(t)-\varphi(0)}{t} - \mathrm{i} \mu \right| &= \left| \frac 1 t \left(\int e^{\mathrm{i} t X} - 1 \mathop{\!}\mathrm{d} P\right) - \mathrm{i} \mu \right|\\ &= \left| \left(\int \int_0^1 e^{\mathrm{i} tXs} \mathrm{i} X \mathop{\!}\mathrm{d} s \mathop{\!}\mathrm{d} P\right) - \mathrm{i} \mu \right|\\ &= \left| \left(\int \int_0^1 e^{\mathrm{i} tXs} X \mathop{\!}\mathrm{d} s \mathop{\!}\mathrm{d} P\right) - \mu \right|\\ &\leq \left| \int \int_0^1 e^{\mathrm{i} tXs} X \mathop{\!}\mathrm{d} s \mathop{\!}\mathrm{d} P - \mu_n \right| + |\mu-\mu_n|\\ &\leq \int_{|X|\leq n} \left|\int_0^1 (e^{\mathrm{i} tXs}-1) \mathop{\!}\mathrm{d} s\right|\cdot |X| \mathop{\!}\mathrm{d} P + \frac 1 t \Pr(|X| > n) + |\mu-\mu_n|\\ &\leq \int_{|X|\leq n} \int_0^1 |tXs| \mathop{\!}\mathrm{d} s \cdot |X| \mathop{\!}\mathrm{d} P + \frac 1 t \Pr(|X| > n) + |\mu-\mu_n|.\\ &\leq \frac{|t|}2\int_{|X|\leq n} X^2 \mathop{\!}\mathrm{d} P + \frac 1 t \Pr(|X| > n) + |\mu-\mu_n|. \end{aligned} \]

取 \(n = \lceil 1/t\rceil\), 我们就得到了其趋于 \(0\), 因此 \(\varphi'(0) = \mathrm{i}\mu\).