[傅里叶变换及其应用学习笔记] 十. 卷积与中心极限定理
这份是本人的学习笔记，课程为网易公开课上的斯坦福大学公开课：傅里叶变换及其应用。
中心极限定理（Central Limit Theorem）
中心极限定理，简称CLT。大多数概率事件，当有足够多的取样时，都服从高斯分布。（Most probabilities – some kind of average – are calculated or approximated as if they are determined by a Gaussian.）
标准正态（高斯）分布
在傅里叶变换中，我们用$f = e^{-\pi t^2}$作为标l准高斯函数，因为它的正逆傅里叶变换都是$e^{-\pi t^2}$。对中心极限定理来说，标准正态分布的密度函数（probability density function）是
$p(x) = \frac{1}{\sqrt{2\pi}} e^{\frac{-x^2}{2}}$
采用这个式子作为标准正态分布的原因是它的均值（期望值）是0，它的标准差与方差为1。
对应地，概率函数为
$Prob(a \leqslant X \leqslant b) = \displaystyle{\int_a^b p(x) dx = \frac{1}{\sqrt{2\pi}}\int_a^b e^{-\frac{x^2}{2}}dx }$
设有随机变量$X$，$X$为统称，$X$的实际测量值为$x$，$x$的概率密度函数记为$p(x)$。
对于任意$x$，都有
$p(x) \geqslant 0$
$x$在$a$到$b$之间的概率为
$Prob(a \leqslant x \leqslant b) = \displaystyle{\int_a^b p(x)dx }$
总概率为1
$Prob(-\infty \leqslant x \leqslant \infty) = \displaystyle{\int_{-\infty}^{\infty}p(x)dx = 1 }$
分布与卷积的关系
假设有两个独立的随机变量：$x_1$，$x_2$，其密度函数分别为$p_1(x_1)$，$p_2(x_2)$。那么$x_1+x_2$的密度函数为$p_{12}(x_{12})$，它与$p_1(x_1)$、$p_2(x_2)$有什么关系呢？
求解过程如下：
设有任意变量$t$，$x_1+x_2 \leqslant t$的概率记为$Prob(x_1+x_2 \leqslant t)$。我们画以下坐标图像辅助分析
$Prob(x_1+x_2 \leqslant t)$意为坐标落在阴影部分的概率
$Prob(x_x+x_2 \leqslant t) = \displaystyle{\iint_{x_1 + x_2 \leqslant t} p_1(x_1)p_2(x_2)dx_1dx_2 }$
进行变量代换，令$u=x_1$，$v=x_1+x_2$，则
$\left\{\begin{matrix}
x_1 &= &u\\
x_2 &= &v - u\\
t &= &v
\end{matrix}\right.$
进行变量代换后，对应的新平面（$u$，$v$平面）如下
计算如下
$\begin{align*}
Prob(x_1+x_2 \leqslant t)
&= Prob(v \leqslant t) \\
&= \int_{-\infty}^{\infty}\int_{-\infty}^{t}p_1(u)p_2(v-u)dudv \\
&= \int_{-\infty}^{t}\left( \int_{-\infty}^{\infty}p_1(u)p_2(v-u)du \right)dv \\
&= \int_{-\infty}^{t}(p_1 * p_2)dv
\end{align*}$
因此$p_1 * p_2$可当做$x_1+x_2$的密度函数。
结论：独立随机变量的和的密度函数为他们各自密度函数的卷积
$p(x_1+x_2+…+x_n) = p_1*p_2*…*p_n$
中心极限定理推导过程
设有$n$个随机独立变量$x_1,x_2,…,x_n$，他们满足下列条件
1. 有相同的密度函数：$p_1=p_2=…=p_n=p(x)$
2. 均值（期望值）为：$\mu = \displaystyle{\int_{-\infty}^{\infty}xp(x)dx=0 }$
3. 标准差为：$\sigma = \displaystyle{\sqrt{\int_{-\infty}^{\infty}x^2p(x)dx } =1}$
4. 概率的一般性质，总概率为：$\displaystyle{\int_{-\infty}^{\infty}p(x)dx = 1 }$
设$S_n$为这$n$个随机变量的和
$S_n = x_1+x_2+…+x_n$
$S_n$的密度函数为
$p^{*n} = \underbrace{p*p*...*p}_n$
$S_n$的均值为$0$，标准差为$\sqrt{n}$，因此我们需要对它进行标准化（Normalization）。
标准化包括两个步骤：
1. 横轴缩放。标准化后密度函数为$f(z)$，$z = \frac{x-\mu}{\sigma}$，即$x=\sigma z+\mu = \sqrt{n}z$
2. 纵轴缩放。$f(z) = \sigma f(x) = \sqrt{n} p^{*n}(x)$
两个步骤合在一起，得到
$f(z) = \sqrt{n} p^{*n}(\sqrt{n}z)$
记标准化后的密度函数为
$p_{normal}(x) = \sqrt{n} p^{*n}(\sqrt{n}x)$
为了把卷积计算简化，需要引入傅里叶变换把卷积运算转换为乘法运算
$\begin{align*}
\mathcal{F}\left(\sqrt{n}(p^{*n})(\sqrt{n}x)\right)
&=\sqrt{n}\cdot\frac{1}{\sqrt{n}}\left(\mathcal{F}(p^{*n})\right)(\frac{s}{\sqrt{n}})\quad Fourier\ Scaling\ Theorem\\
&=(\mathcal{F}(p^{*n}))(\frac{s}{\sqrt{n}})\\
&=(\mathcal{F} p)^n(\frac{s}{\sqrt{n}})\quad Fourier\ Convolution\ Theorem\\
&=\left(\int_{-\infty}^{\infty}e^{-2\pi i(\frac{s}{\sqrt{n}})x} p(x)dx\right)^n\\
&=\left(\int_{-\infty}^{\infty}\left(1-\frac{2\pi isx}{\sqrt{n}}+\frac{1}{2}\left(\frac{2\pi isx}{\sqrt{n}}\right)^2+...\right)p(x)dx\right)^n\quad Taylor \ Series\\
&=\left(\int_{-\infty}^{\infty}p(x)dx-\frac{2\pi is}{\sqrt{n}}\int_{-\infty}^{\infty}xp(x)dx-\frac{2\pi^2s^2}{n}\int_{-\infty}^{\infty}x^2p(x)dx+...\right)^n\\
&=\left(1-0-\frac{2\pi^2s^2}{n}+...\right)^n\\
&\approx\left(1-\frac{2\pi^2s^2}{n}\right)^n
\end{align*}$
当$n \to \infty$时，$\lim_{n\to \infty}\left(1-\frac{2\pi^2s^2}{n} \right)^n \approx e^{-2\pi^2s^2}$，即
$\mathcal{F}\left(\sqrt{n}(p^{*n})(\sqrt{n}x)\right) = e^{-2\pi^2s^2}$
用傅里叶逆变换求出
$p_{normal} = \mathcal{F}^{-1}(e^{-2\pi^2s^2}) = \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$
因此得出结论：
当$n\to \infty$，$p_{normal}(x) = \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$。
其中n可以理解为某个独立随机变量连续测量的次数，当测量次数足够多时，其概率的密度函数会符合正态分布。这也就是我们所称的中心极限定理。
二项分布是正态分布的一个特殊情况，正态分布的随机变量是连续的，而二项分布的变量取值只有两项，是离散的。二项分布在我们的日常生活中比较常见。用游戏抽卡来举个例子，取值只有出货或者没出货两个。设n是某一个人抽卡的次数，如果$n \to \infty$，那么这个人抽卡出货的情况，呈二项分布。简而言之，假设有非常多的人在玩某个抽卡游戏，并且每个人的抽卡次数都非常多，那么大部分人抽卡的出货量会分布在期望值的近两侧，即亚洲人，少部分人是欧洲人或者非洲人，这种出货量的分布状况呈二项分布。
