[傅里叶变换及其应用学习笔记] 十. 卷积与中心极限定理

这份是本人的学习笔记，课程为网易公开课上的斯坦福大学公开课：傅里叶变换及其应用。

 

中心极限定理（Central Limit Theorem）

中心极限定理，简称CLT。大多数概率事件，当有足够多的取样时，都服从高斯分布。（Most probabilities – some kind of average – are calculated or approximated as if they are determined by a Gaussian.）

 

 

标准正态（高斯）分布

在傅里叶变换中，我们用$f = e^{-\pi t^2}$作为标l准高斯函数，因为它的正逆傅里叶变换都是$e^{-\pi t^2}$。对中心极限定理来说，标准正态分布的密度函数（probability density function）是

$p(x) = \frac{1}{\sqrt{2\pi}} e^{\frac{-x^2}{2}}$

采用这个式子作为标准正态分布的原因是它的均值（期望值）是0，它的标准差与方差为1。

对应地，概率函数为

$Prob(a \leqslant X \leqslant b) = \displaystyle{\int_a^b p(x) dx = \frac{1}{\sqrt{2\pi}}\int_a^b e^{-\frac{x^2}{2}}dx }$

 

设有随机变量$X$，$X$为统称，$X$的实际测量值为$x$，$x$的概率密度函数记为$p(x)$。

对于任意$x$，都有

$p(x) \geqslant 0$

$x$在$a$到$b$之间的概率为

$Prob(a \leqslant x \leqslant b) = \displaystyle{\int_a^b p(x)dx }$

总概率为1

$Prob(-\infty \leqslant x \leqslant \infty) = \displaystyle{\int_{-\infty}^{\infty}p(x)dx = 1 }$

 

 

分布与卷积的关系

假设有两个独立的随机变量：$x_1$，$x_2$，其密度函数分别为$p_1(x_1)$，$p_2(x_2)$。那么$x_1+x_2$的密度函数为$p_{12}(x_{12})$，它与$p_1(x_1)$、$p_2(x_2)$有什么关系呢？

求解过程如下：

设有任意变量$t$，$x_1+x_2 \leqslant t$的概率记为$Prob(x_1+x_2 \leqslant t)$。我们画以下坐标图像辅助分析

$Prob(x_1+x_2 \leqslant t)$意为坐标落在阴影部分的概率

$Prob(x_x+x_2 \leqslant t) = \displaystyle{\iint_{x_1 + x_2 \leqslant t} p_1(x_1)p_2(x_2)dx_1dx_2 }$

进行变量代换，令$u=x_1$，$v=x_1+x_2$，则

$\left\{\begin{matrix} x_1 &= &u\\ x_2 &= &v - u\\ t &= &v \end{matrix}\right.$

进行变量代换后，对应的新平面（$u$，$v$平面）如下

计算如下

$\begin{align*} Prob(x_1+x_2 \leqslant t) &= Prob(v \leqslant t) \\ &= \int_{-\infty}^{\infty}\int_{-\infty}^{t}p_1(u)p_2(v-u)dudv \\ &= \int_{-\infty}^{t}\left( \int_{-\infty}^{\infty}p_1(u)p_2(v-u)du \right)dv \\ &= \int_{-\infty}^{t}(p_1 * p_2)dv \end{align*}$

因此$p_1 * p_2$可当做$x_1+x_2$的密度函数。

结论：独立随机变量的和的密度函数为他们各自密度函数的卷积

$p(x_1+x_2+…+x_n) = p_1*p_2*…*p_n$

 

 

中心极限定理推导过程

设有$n$个随机独立变量$x_1,x_2,…,x_n$，他们满足下列条件

1. 有相同的密度函数：$p_1=p_2=…=p_n=p(x)$

2. 均值（期望值）为：$\mu = \displaystyle{\int_{-\infty}^{\infty}xp(x)dx=0 }$

3. 标准差为：$\sigma = \displaystyle{\sqrt{\int_{-\infty}^{\infty}x^2p(x)dx } =1}$

4. 概率的一般性质，总概率为：$\displaystyle{\int_{-\infty}^{\infty}p(x)dx = 1 }$

 

 

设$S_n$为这$n$个随机变量的和

$S_n = x_1+x_2+…+x_n$

$S_n$的密度函数为

$p^{*n} = \underbrace{p*p*...*p}_n$

$S_n$的均值为$0$，标准差为$\sqrt{n}$，因此我们需要对它进行标准化（Normalization）。

标准化包括两个步骤：

1. 横轴缩放。标准化后密度函数为$f(z)$，$z = \frac{x-\mu}{\sigma}$，即$x=\sigma z+\mu = \sqrt{n}z$

2. 纵轴缩放。$f(z) = \sigma f(x) = \sqrt{n} p^{*n}(x)$

两个步骤合在一起，得到

$f(z) = \sqrt{n} p^{*n}(\sqrt{n}z)$

记标准化后的密度函数为

$p_{normal}(x) = \sqrt{n} p^{*n}(\sqrt{n}x)$

 

 

为了把卷积计算简化，需要引入傅里叶变换把卷积运算转换为乘法运算

$\begin{align*} \mathcal{F}\left(\sqrt{n}(p^{*n})(\sqrt{n}x)\right) &=\sqrt{n}\cdot\frac{1}{\sqrt{n}}\left(\mathcal{F}(p^{*n})\right)(\frac{s}{\sqrt{n}})\quad Fourier\ Scaling\ Theorem\\ &=(\mathcal{F}(p^{*n}))(\frac{s}{\sqrt{n}})\\ &=(\mathcal{F} p)^n(\frac{s}{\sqrt{n}})\quad Fourier\ Convolution\ Theorem\\ &=\left(\int_{-\infty}^{\infty}e^{-2\pi i(\frac{s}{\sqrt{n}})x} p(x)dx\right)^n\\ &=\left(\int_{-\infty}^{\infty}\left(1-\frac{2\pi isx}{\sqrt{n}}+\frac{1}{2}\left(\frac{2\pi isx}{\sqrt{n}}\right)^2+...\right)p(x)dx\right)^n\quad Taylor \ Series\\ &=\left(\int_{-\infty}^{\infty}p(x)dx-\frac{2\pi is}{\sqrt{n}}\int_{-\infty}^{\infty}xp(x)dx-\frac{2\pi^2s^2}{n}\int_{-\infty}^{\infty}x^2p(x)dx+...\right)^n\\ &=\left(1-0-\frac{2\pi^2s^2}{n}+...\right)^n\\ &\approx\left(1-\frac{2\pi^2s^2}{n}\right)^n \end{align*}$

 

当$n \to \infty$时，$\lim_{n\to \infty}\left(1-\frac{2\pi^2s^2}{n} \right)^n \approx e^{-2\pi^2s^2}$，即

$\mathcal{F}\left(\sqrt{n}(p^{*n})(\sqrt{n}x)\right) = e^{-2\pi^2s^2}$

用傅里叶逆变换求出

$p_{normal} = \mathcal{F}^{-1}(e^{-2\pi^2s^2}) = \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$

 

因此得出结论：

当$n\to \infty$，$p_{normal}(x) = \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$。

其中n可以理解为某个独立随机变量连续测量的次数，当测量次数足够多时，其概率的密度函数会符合正态分布。这也就是我们所称的中心极限定理。

二项分布是正态分布的一个特殊情况，正态分布的随机变量是连续的，而二项分布的变量取值只有两项，是离散的。二项分布在我们的日常生活中比较常见。用游戏抽卡来举个例子，取值只有出货或者没出货两个。设n是某一个人抽卡的次数，如果$n \to \infty$，那么这个人抽卡出货的情况，呈二项分布。简而言之，假设有非常多的人在玩某个抽卡游戏，并且每个人的抽卡次数都非常多，那么大部分人抽卡的出货量会分布在期望值的近两侧，即亚洲人，少部分人是欧洲人或者非洲人，这种出货量的分布状况呈二项分布。