Wallis 公式、Stirling 公式与正态分布

$$$$

参考：

• 张筑生《数学分析新讲》第二册^[1]
• 张颢《概率论》^[2]
• Wikipedia, Math StackExchange, etc.

1 Warm up

Example 1 求 $$\underset{n\to \mathrm{\infty }}{lim}\frac{(2n-1)!!}{(2n)!!}=\underset{n\to \mathrm{\infty }}{lim}\frac{1\times 3\times 5\times \cdots \times (2n-1)}{2\times 4\times 6\times \cdots \times 2n}$$

Solution. 用放缩 $$2k>\sqrt{(2k-1)(2k+1)}$$ 拆分母即得 $$\frac{(2n-1)!!}{(2n)!!}<\frac{1}{\sqrt{2n+1}}\sim 0$$

Example 2 (中心二项式系数) 求 $$\underset{n\to \mathrm{\infty }}{lim}\frac{(\genfrac{}{}{0ex}{}{2n}{n})}{2^{2n}}$$

Solution. $$\frac{(\genfrac{}{}{0ex}{}{2n}{n})}{2^{2n}}=\frac{(2n)!}{2^{2n}(n!{)}^2}=\frac{(2n)!}{(2^{n}n!{)}^2}=\frac{(2n)!}{(2n!!{)}^2}=\frac{(2n-1)!!}{2n!!}<\frac{1}{\sqrt{2n+1}}\sim 0$$

上两例有没有更精确的渐进估计？这便是我们马上要研究的问题．

2 Wallis 公式

Lemma 1 (Wallis 积分公式) 定积分系列 $$J_n={\int }_0^{\frac{\pi }{2}}{\sin }^{n}x\mathrm{d}x$$ 满足 $$\begin{array}{rl}{J}_{2n}& =\frac{(2n-1)!!}{(2n)!!}\cdot \frac{\pi }{2}\\ J_{2n+1}& =\frac{(2n)!!}{(2n+1)!!}\cdot 1\end{array}$$

Proof. 我们的思路是：先把一个 $\sin x$ 放进微分中，然后分部积分得到递推式．

$$\begin{array}{rl}{J}_n& ={\int }_0^{\frac{\pi }{2}}{\sin }^{n}x\mathrm{d}x\\ & =-{\int }_0^{\frac{\pi }{2}}{\sin }^{n-1}x\mathrm{d}\cos x\\ & ={[-{\sin }^{n-1}x\cos x]}_0^{\frac{\pi }{2}}+{\int }_0^{\frac{\pi }{2}}\cos x\mathrm{d}{\sin }^{n-1}x\\ & =(n-1){\int }_0^{\frac{\pi }{2}}{\cos }^{2}x{\sin }^{n-2}x\mathrm{d}x\\ & =(n-1){\int }_0^{\frac{\pi }{2}}(1-{\sin }^{2}x){\sin }^{n-2}x\mathrm{d}x\\ & =(n-1){\int }_0^{\frac{\pi }{2}}{\sin }^{n-2}x\mathrm{d}x-(n-1){\int }_0^{\frac{\pi }{2}}{\sin }^{n}x\mathrm{d}x\\ & =(n-1)J_{n-2}-(n-1)J_n\end{array}$$

故 $$J_n=\frac{n-1}{n}{J}_{n-2}$$ 边界条件 $$\begin{array}{rl}{J}_0& =\frac{\pi }{2}\\ J_1& ={\int }_0^{\frac{\pi }{2}}\sin x\mathrm{d}x=1\end{array}$$ 代入递推式求解就得到了要证的结论．

Theorem 1 (Wallis 公式) $$\frac{\pi }{2}=\underset{n\to \mathrm{\infty }}{lim}\frac{1}{2n+1}{\left(\frac{(2n)!!}{(2n-1)!!}\right)}^2$$

Proof. 注意到在积分区间上，${\sin }^{n}x\ge {\sin }^{n+1}x$，由积分的单调性，$J_n$ 随 $n$ 单调递减，故 $J_{2n+1}\le J_{2n}\le J_{2n-1}$ 成立．代入 Lemma 1 中得到的结果 $$\frac{(2n)!!}{(2n+1)!!}\le \frac{(2n-1)!!}{(2n)!!}\cdot \frac{\pi }{2}\le \frac{(2n-2)!!}{(2n-1)!!}$$ 移项得 $${\left(\frac{(2n)!!}{(2n-1)!!}\right)}^2\frac{1}{2n+1}\le \frac{\pi }{2}\le {\left(\frac{(2n)!!}{(2n-1)!!}\right)}^2\frac{1}{2n}$$

现在只需说明 RHS 与 LHS 的差是一个无穷小． $$\begin{array}{rl}{\left(\frac{(2n)!!}{(2n-1)!!}\right)}^2(\frac{1}{2n}-\frac{1}{2n+1})& ={\left(\frac{(2n)!!}{(2n-1)!!}\right)}^2\left(\frac{1}{2n(2n+1)}\right)\\ & ={\left(\frac{(2n-2)!!}{(2n-1)!!}\right)}^2\frac{2n}{(2n+1)}\end{array}$$ 由 Example 1 ，$\underset{n\to \mathrm{\infty }}{lim}\frac{(2n-2)!!}{(2n-1)!!}=0$，故上式确为一个无穷小，定理得证．

Wallis 公式还有其它表现形式： $$\frac{2^{2n}}{(\genfrac{}{}{0ex}{}{2n}{n})}=\frac{(2n)!!}{(2n-1)!!}\sim \sqrt{\pi n}(n\to \mathrm{\infty })$$ 这里 Wallis 公式反映为对 Example 1 和 Example 2 的渐进估计．

Exercise 1 对 Catalan 数 $$C_n=(\genfrac{}{}{0ex}{}{2n}{n})-(\genfrac{}{}{0ex}{}{2n}{n+1})$$ 做出渐进估计．

Solution. 注意到 $$C_n=(\genfrac{}{}{0ex}{}{2n}{n})-(\genfrac{}{}{0ex}{}{2n}{n+1})=(\genfrac{}{}{0ex}{}{2n}{n})-\frac{n}{n+1}(\genfrac{}{}{0ex}{}{2n}{n})=\frac{1}{n+1}(\genfrac{}{}{0ex}{}{2n}{n})$$ 用 Wallis 公式计算即得 $$C_n\sim \frac{2^{2n}}{\sqrt{\pi }{n}^{\frac{3}{2}}}$$

Wallis 公式的另一种表现形式是 $$\frac{\pi }{2}=\prod _{k=1}^{\mathrm{\infty }}\frac{4n^2}{4n^2-1}=\prod _{k=1}^{\mathrm{\infty }}(\frac{2n}{2n-1}\cdot \frac{2n}{2n+1})$$ 这表达式也被称为 Wallis product，用于近似计算 $\pi$．

Remark. 这和我们在 Example 1 中使用的放缩技巧……

3 Stirling 公式

Lemma 2 $${(1+\frac{1}{n})}^n<e<{(1+\frac{1}{n})}^{n+1}$$

这是《数学分析 I》中大家所熟知的．

Theorem 2 $${\left(\frac{n}{e}\right)}^n<\frac{n!}{e}<n{\left(\frac{n}{e}\right)}^n$$

Proof. 将 Lemma 2 写成 $$\frac{(n+1{)}^n}{n^n}<e<\frac{(n+1{)}^{n+1}}{n^{n+1}}$$ 对 $k=1,2,\dots ,n-1$ 做连乘 $$\prod _{k=1}^{n-1}\frac{(k+1{)}^k}{k^k}<e^{n-1}<\prod _{k=1}^{n-1}\frac{(k+1{)}^{k+1}}{k^{k+1}}$$ 注意到乘积的相邻两项中，前一项的分子与后一项的分母可以约分，中间每项只余下 $\frac{1}{k}$，故上式可化为 $$\frac{n^{n-1}}{(n-1)!}<e^{n-1}<\frac{n^n}{(n-1)!}$$ 两端再同乘 $\frac{n!}{e^n}$ 就得到 $${\left(\frac{n}{e}\right)}^n<\frac{n!}{e}<n{\left(\frac{n}{e}\right)}^n$$

Theorem 3 (Stirling 公式) $$n!\sim \sqrt{2\pi n}{\left(\frac{n}{e}\right)}^n(n\to \mathrm{\infty })$$

完整证明较复杂，这里介绍证明最后一步：已知 $n!\sim a\sqrt{n}{\left(\frac{n}{e}\right)}^n$，用 Wallis 公式对 $2^{2n}/(\genfrac{}{}{0ex}{}{2n}{n})$ 的渐进估计确定系数 $a$．

$$\sqrt{\pi n}\sim \frac{2^{2n}}{(\genfrac{}{}{0ex}{}{2n}{n})}=\frac{2^{2n}(n!{)}^2}{(2n)!}\sim \frac{2^{2n}(a\sqrt{n}{n}^n{e}^{-n}{)}^2}{a\sqrt{2n}{2}^{2n}{n}^{2n}{e}^{-2n}}=\sqrt{\frac{n}{2}}a$$

因此 $a=\sqrt{2\pi }$．

Example 3 当 $n\to \mathrm{\infty }$，$k\to \mathrm{\infty }$ 时，用 Stirling 公式渐进估计 $(\genfrac{}{}{0ex}{}{n}{k})$．

Solution. $$(\genfrac{}{}{0ex}{}{n}{k})\sim \sqrt{\frac{n}{2\pi k(n-k)}}\frac{n^n}{k^k(n-k{)}^{n-k}}$$

4 Poisson 分布

描述单位时间平均发生次数恒定的随机事件的概率分布．

Definition 1 (Poisson 分布) 若离散随机变量 $X$ 满足 $$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda }$$ 其中 $\lambda >0$ 是确定的常数，则随机变量 $X$ 服从 Poisson 分布．

4.1 从二项分布的推导

在 $np=\lambda$ 的条件下，取 $P(X_n=k)=(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}$ 在 $n\to \mathrm{\infty }$ 在 $n\to \mathrm{\infty }$ 上的逐点极限．

$$\begin{array}{rl}P(X_n=k)& =(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}\\ & =(\genfrac{}{}{0ex}{}{n}{k})\frac{{\lambda }^k}{n^k}{(1-\frac{\lambda }{n})}^{n-k}\\ & ={\lambda }^k{(1-\frac{\lambda }{n})}^n{(1-\frac{\lambda }{n})}^{-k}(\genfrac{}{}{0ex}{}{n}{k})\frac{1}{n^k}\\ & \sim {\lambda }^k{e}^{-\lambda }(\genfrac{}{}{0ex}{}{n}{k})\frac{1}{n^k}\\ & ={\lambda }^k{e}^{-\lambda }\frac{n(n-1)\dots (n-k+1)}{k!n^k}\\ & =\frac{{\lambda }^k}{k!}{e}^{-\lambda }\cdot 1\cdot (1-\frac{1}{n})\dots (1-\frac{k-1}{n})\\ & \sim \frac{{\lambda }^k}{k!}{e}^{-\lambda }\end{array}$$

4.2 归一性验证

$$\sum _{k=0}^{+\mathrm{\infty }}P(X=k)=\sum _{k=0}^{+\mathrm{\infty }}\frac{{\lambda }^k}{k!}{e}^{-\lambda }=e^{-\lambda }\sum _{k=0}^{+\mathrm{\infty }}\frac{{\lambda }^k}{k!}=e^{-\lambda }{e}^{\lambda }=1$$

5 正态分布

与 Poisson 分布不同，（标准）正态分布是在 $n\to \mathrm{\infty }$ 的过程中假定 $p$ 不变的情况下，对归一化（即假定期望和方差不变）后的 $X_n$ 取逐点极限得到的．

Definition 2 (正态分布) 若连续随机变量 $X$ 的期望 $E(X)=\mu$，方差 $D(X)=\sigma$，且其概率分布函数为 $$f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$ 则变量 $X$ 服从正态分布，记为 $X\sim N(\mu ,{\sigma }^2)$．

特别的，当 $\mu =0$，$\sigma =1$ 时，变量 $X$ 服从标准正态分布 $$f(x)=\frac{1}{\sqrt{2\pi }}\exp (-\frac{1}{2}{x}^2)$$

5.1 从二项分布的推导（de Moivre-Laplace 定理）

设随机变量 $X_n\sim B(n,p)$．方便起见，令 $q=1-p$．众所周知，二项分布的期望与方差满足 $E(X_n)=np$，$D(X_n)=npq$．

对随机变量 $X_n$ 做归一化： $${\overline{X}}_n=\frac{X_n-E(X_n)}{\sqrt{D(X_n)}}=\frac{X_n-np}{\sqrt{npq}}$$ 考虑到 $$P({\overline{X}}_n=x)=P(X_n=np+x\sqrt{npq})$$ 令 $k=np+x\sqrt{npq}$，则 $$P({\overline{X}}_n=x)=P(X_n=k)=(\genfrac{}{}{0ex}{}{n}{k})p^k{q}^{n-k}$$ 此时 $n,k$ 均趋于无穷大，故可应用 Example 3 对二项式系数做出估计 $$\begin{array}{rl}(\genfrac{}{}{0ex}{}{n}{k})p^k{q}^{n-k}& \sim \sqrt{\frac{n}{2\pi k(n-k)}}\frac{n^n}{k^k(n-k{)}^{n-k}}{p}^k{q}^{n-k}\\ & =\sqrt{\frac{n}{2\pi k(n-k)}}{\left(\frac{np}{k}\right)}^k{\left(\frac{nq}{n-k}\right)}^{n-k}\\ & =\sqrt{\frac{n}{2\pi k(n-k)}}\exp (k\ln \frac{np}{k}+(n-k)\ln \frac{nq}{n-k})\end{array}$$

下面分别处理 $k\ln \frac{np}{k}$ 和 $(n-k)\ln \frac{nq}{n-k}$．

$$\begin{array}{rl}k\ln \frac{np}{k}& =-(np+x\sqrt{npq})\ln \frac{np+x\sqrt{npq}}{np}\\ & =-(np+x\sqrt{npq})\ln (1+x\sqrt{\frac{q}{np}})\\ & =-(np+x\sqrt{npq})(x\sqrt{\frac{q}{np}}-\frac{x^{2}q}{2np}+o\left(\frac{1}{n}\right))\\ & =-x\sqrt{npq}+\frac{1}{2}{x}^{2}q-x^{2}q+o(1)\end{array}$$

$$\begin{array}{rl}(n-k)\ln \frac{nq}{n-k}& =-(nq-x\sqrt{npq})\ln \frac{nq-x\sqrt{npq}}{nq}\\ & =-(nq-x\sqrt{npq})\ln (1-x\sqrt{\frac{p}{nq}})\\ & =(nq-x\sqrt{npq})(x\sqrt{\frac{p}{nq}}+\frac{x^{2}p}{2nq}+o\left(\frac{1}{n}\right))\\ & =x\sqrt{npq}+\frac{1}{2}{x}^{2}p-x^{2}p+o(1)\end{array}$$

因此 $$k\ln \frac{np}{k}+(n-k)\ln \frac{nq}{n-k}=-\frac{1}{2}{x}^2(p+q)+o(1)=-\frac{1}{2}{x}^2+o(1)$$

下面处理 $\sqrt{\frac{n}{2\pi k(n-k)}}$．

$$\begin{array}{rl}\sqrt{\frac{n}{2\pi k(n-k)}}& =\sqrt{\frac{n}{2\pi (np+x\sqrt{npq})(nq-x\sqrt{npq})}}\\ & =\sqrt{\frac{1}{2\pi (p+x\sqrt{\frac{pq}{n}})(q-x\sqrt{\frac{pq}{n}})}}\\ & =\sqrt{\frac{1}{2\pi npq+o(1)}}\end{array}$$

将上述结果代回，我们就得到 $$\begin{array}{rl}(\genfrac{}{}{0ex}{}{n}{k})p^k{q}^{n-k}& \sim \sqrt{\frac{1}{2\pi npq+o(1)}}\exp (-\frac{1}{2}{x}^2+o(1))\\ & \sim \frac{1}{\sqrt{2\pi npq}}\exp (-\frac{1}{2}{x}^2)\end{array}$$ 即 $$P({\overline{X}}_n=x)=P(X_n=k)\sim \frac{1}{\sqrt{2\pi npq}}\exp (-\frac{1}{2}{x}^2)=\frac{1}{\sqrt{2\pi npq}}\exp (-\frac{(k-np{)}^2}{2npq})$$ 这正是我们想要的．

Remark. 细心的同学可能会对式子前边的系数仍是 $n\to \mathrm{\infty }$ 时的无穷小产生疑问．事实上，在将 $X_n$ 归一化为 ${\overline{X}}_n$ 的过程中，我们将整个变量“压缩”至原来的 $\frac{1}{\sqrt{npq}}$，因此前面的系数可以理解为一种类似 $\mathrm{d}x$ 的存在．关于归一化的直观理解，3Blue1Brown 的中心极限定理视频^[3]提供了很好的讲解．

更形式化的，由于归一化得到的离散型随机变量 ${\overline{X}}_n$ 在 $n\to \mathrm{\infty }$ 的过程中已经变成连续型随机变量 $X$，我们研究的对象也应从单点转向区间．因此，对 $X_n$ 与 ${\overline{X}}_n$ 概率分布的叙述做一点变动 $$P(x\le {\overline{X}}_n<x+\frac{1}{\sqrt{npq}})=P(k\le X_n<k+1)=P(X_n=k)\sim \frac{1}{\sqrt{2\pi npq}}\exp (-\frac{1}{2}{x}^2)$$ 令区间大小趋于 $0$ 就得到 $$\begin{array}{rl}f(x)& =\underset{h\to 0}{lim}\frac{P(x\le X<x+h)}{h}\\ & =\underset{n\to \mathrm{\infty }}{lim}\sqrt{npq}\cdot P(x\le {\overline{X}}_n<x+\frac{1}{\sqrt{npq}})\\ & =\underset{n\to \mathrm{\infty }}{lim}\sqrt{npq}\cdot \frac{1}{\sqrt{2\pi npq}}\exp (-\frac{1}{2}{x}^2)& \cdots \text{这里 }\sim \text{ 表现为等价无穷小替换}\\ & =\frac{1}{\sqrt{2\pi }}\exp (-\frac{1}{2}{x}^2)\end{array}$$ 这才是我们真正想要的，由二项分布归一化后取极限得到的，标准正态分布的概率密度函数．

6 Challenge

选讲或留作课后讨论．

6.1 正态分布的归一性验证、Maxwell 速率分布与高维球体的表面积

Guass 积分： $${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{e}^{-x^2}\mathrm{d}x=\sqrt{\pi }$$

Maxwell 速率分布： $$f(v)=4\pi v^2{\left(\frac{m}{2\pi kT}\right)}^{\frac{3}{2}}\exp (-\frac{m}{2kT}{v}^2)$$

以及它们与高维球体表面积的联系涉及多元积分学的内容．参考 3Blue1Brown 有关 $\pi$ 与正态分布的视频^[4]．

6.2 $n!$ 的其它估计

一种更容易想到的做法是 $$n\ln n-n-1={\int }_1^n\ln x\mathrm{d}x\le \ln n!=\sum _{k=1}^n\ln k\le {\int }_1^{n+1}\ln x\mathrm{d}x=(n+1)\ln (n+1)-n-2$$ 从而 $${\left(\frac{n}{e}\right)}^n\le e\cdot n!\le {\left(\frac{n+1}{e}\right)}^{n+1}$$ 当然这比 Theorem 2 的估计稍差．

更多估计可参考这篇文章^[5]．

6.3 Wallis 公式视角下三阶乘与中心三项式系数的渐进估计

Exercise 2 求 $$\underset{n\to \mathrm{\infty }}{lim}\frac{(3n-2)!!!}{(3n)!!!}=\underset{n\to \mathrm{\infty }}{lim}\frac{1\times 4\times 7\times \cdots \times (3n-2)}{3\times 6\times 9\times \cdots \times 3n}$$ 并对其做出渐进估计．

Exercise 3 求 $$\underset{n\to \mathrm{\infty }}{lim}\frac{(3n-1)!!!}{(3n)!!!}=\underset{n\to \mathrm{\infty }}{lim}\frac{2\times 5\times 8\times \cdots \times (3n-1)}{3\times 6\times 9\times \cdots \times 3n}$$ 并对其做出渐进估计．

Exercise 4 求 $$\underset{n\to \mathrm{\infty }}{lim}\frac{(3n)!/(n!{)}^3}{3^{3n}}$$ 并对其做出渐进估计．

用 Stirling 公式计算得到的结果是 $$\frac{\sqrt{3}}{2\pi n}$$ 但在 Wallis 公式的视角下如何获得？

7 Acknowledgments

感谢吕老师组织我最喜欢的研讨课环节．此外，Example 1 的放缩技巧由“吸取教训”同学提供，Poisson 分布的二项分布推导是与“抱头蹲防”同学讨论的结果，在此表示感谢．

References

1. 张筑生. (2021). 数学分析新讲（重排本）（第二册） (2nd ed.). 北京大学出版社.

2. 张颢. (2018). 概率论. 高等教育出版社.

3. 3Blue1Brown. (2023). But what is the central limit theorem? https://www.youtube.com/watch?v=zeJD6dqJ5lo.

4. 3Blue1Brown. (2023). Why π is in the normal distribution (beyond integral tricks). https://www.youtube.com/watch?v=cy8r7WSuT1I.

5. hijjjjq. (2022). 对n的阶乘（n!）进行估计. https://zhuanlan.zhihu.com/p/552658420.