重谈主定理（master定理）及其证明

参考文章：

【洛谷日报#33】时空复杂度分析及master定理

李卿. 递归算法分析中主定理的应用[J]. 黑龙江科技信息, 2011(29):97+207.

Thomas H.Cormen,Charles E.Leiserson,Ronald L.Rivest,Clifford Stein. 殷建平等译. 算法导论第三版 [M]. 北京:机械工业出版社,2013,55-58.

前言：

本篇文章与我的 博客园 同步更新。

在此之前，请先阅读 【洛谷日报#33】时空复杂度分析及master定理，其中关于时间复杂度表示的基础知识不再阐述。

引出：

现在考虑一个问题：假设某算法的计算时间表示为递归式：

$$\begin{array}{rl}T(n)& =2T(\frac{n}{2})+n\log n\\ T(1)& =1\end{array}$$

求该算法的时间复杂度。

当给你抛出这么一个题型时，你怎么办？

凭经验和感觉蒙

小几率能蒙对，但你觉得这种题CCF会送你分吗？

递归进去

像这样递归进去:

$$\begin{array}{rl}T(n)& =2T(\frac{n}{2})+n\log n\\ & =2(2T(\frac{n}{4})+\frac{n}{2}\log (\frac{n}{2}))+n\log n\\ & =2(2(2T(\frac{n}{8})+\frac{n}{4}\log (\frac{n}{4}))+\frac{n}{2}\log (\frac{n}{2}))+n\log n\\ & \cdots \end{array}$$

每项都 $n÷2$，总共递归 ${\log }_{2}n$ 层：

$$T(n)=\mathrm{\Theta }(\log n\cdot (n\log n+n\log (\frac{n}{2})+n\log (\frac{n}{2^2})+\cdots +n\log (\frac{n}{2^{{\log }_{2}n}})))$$

即 $T(n)=\mathrm{\Theta }(n{\log }^{2}n)$。

这么做不是没有道理，但是如果 $T(n)=3T(\frac{n}{4})+n\log n$，用这种方法根本算不出来（或许可以算出来，但是操作极其麻烦）。

主定理（master定理）求解

主定理：$a,b$ 是常数，$f(n)$ 为额外附加值函数$T(n)$ 为递归式 $T(n)=aT(\frac{n}{b})+f(n)(a>0,b>1)$，就有：

1. 当 $f(n)=\mathcal{O}(n^{({\log }_{b}a)-ϵ})$ 其中 $ϵ>0$ 是一个常数（相当于 ${\log }_{b}a>f(n)$），则有 $T(n)=\mathrm{\Theta }(n^{{\log }_{b}a})$；
2. 当 $f(n)=\mathrm{\Theta }(n^{{\log }_{b}a})$，则有 $T(n)=\mathrm{\Theta }(n^{{\log }_{b}a}\log n)$；
3. 当 $f(n)=\mathrm{\Omega }(n^{({\log }_{b}a)+ϵ})$ 其中 $ϵ>0$ 是一个常数（相当于 ${\log }_{b}a<f(n)$），且对于一个常数 $c<1$ 和所有足够大的 $n$ 有 $af(\frac{n}{b})\le cf(n)$（这一条件在这里可以暂时忽略不看，但在证明时起到至关重要的作用），则有 $T(n)=\mathrm{\Theta }(f(n))$.
4. 当 $f(n)=\mathrm{\Theta }(n^{{\log }_{b}a}{\log }^{k}n)$ 其中 $k\ge 1$ 是一个常数，则有 $T(n)=\mathrm{\Theta }(n^{{\log }_{b}a}{\log }^{k+1}n)$；

这么看着有点枯燥乏味的样子，不利于理解，但如果丢掉定理四的话（毕竟CSP/NOIp好像真的没考过定理四，其实可以发现定理二和定理四其实是同一种，便于萌新理解就分开了），主定理的定义可以直接写成：

（图一）

也就是 $n^{{\log }_{b}a}$ 与 $f(n)$ 进行比较！

图一、算法导论和上面提过的论文没有提到过定理四，但是原来那篇日报（#33）有，对此我想说，洛谷日报真是太好了！导论不行！日报行！（老伏拉夫了

举例说明：

例一：$T(n)=4T(\frac{n}{2})+n$，此时 $a=4,b=2,ϵ=1$，那么 ${\log }_{b}a={\log }_{2}4=2,f(n)=\mathcal{O}(n^{{\log }_{b}a-ϵ})=\mathcal{O}(n^{2-1})$，$f(n)$ 成立，所以 $T(n)=\mathrm{\Theta }(n^{{\log }_{b}a})=\mathrm{\Theta }(n^2)$。

例二：$T(n)=2T(\frac{n}{2})+n$，此时 $a=2,b=2$，那么 ${\log }_{b}a={\log }_{2}2=1,f(n)=\mathrm{\Theta }(n^{{\log }_{b}a})=\mathrm{\Theta }(n)$，$f(n)$ 成立，所以 $T(n)=\mathrm{\Theta }(n^{{\log }_{b}a}\log n)=\mathrm{\Theta }(n\log n)$。

例三：$T(n)=4T(\frac{n}{2})+n^3$，此时 $a=4,b=2,ϵ=1$，那么 ${\log }_{b}a={\log }_{2}4=2,f(n)=\mathrm{\Omega }(n^{{\log }_{b}a+ϵ})=\mathrm{\Omega }(n^{2+1})$，对于 $c=\frac{2}{3}$ 和够大的 $n$，$(af(\frac{n}{b})=4(\frac{n}{2}{)}^3=4(\frac{n^3}{8})=\frac{n^3}{2})\le (cf(n)=\frac{2n^3}{3})$，$f(n)$ 成立，所以 $T(n)=\mathrm{\Theta }(f(n))=\mathrm{\Theta }(n^3)$。

例四：$T(n)=2T(\frac{n}{2})+n\log n$，此时 $a=2,b=2,k=1$，那么 ${\log }_{b}a={\log }_{2}2=1,f(n)=\mathrm{\Theta }(n^{{\log }_{b}a}{\log }^{k}n)=\mathrm{\Theta }(n\log n)$，$f(n)$ 成立，所以 $T(n)=\mathrm{\Theta }(n^{{\log }_{b}a}{\log }^{k+1}n)=\mathrm{\Theta }(n{\log }^{2}n)$。

证明：

先声明：证明又长又臭，有亿点点难理解，学有余力的 dalao 可以来康康。

俗话说得好：“欲要证明master，就先画棵递归树”：

（图二）

关于图二的解释及证明：

对于第 $i$ 层（$i\ne {\log }_{b}n$)，有 $a^i$ 个节点，而每个节点的值是 $f(\frac{n}{b^i})$，那么第 $i$ 层总共的值是 $a_{i}f(\frac{n}{b^i})$。

对于第 ${\log }_{b}n$ 层，有 $a^{{\log }_{b}n}$ 个节点，而每个节点的时间复杂度是 $\mathrm{\Theta }(1)$，那么这一层总共的时间复杂度是 $\mathrm{\Theta }(a^{{\log }_{b}n})=\mathrm{\Theta }(n^{{\log }_{b}a})$ 层。

对于 $a^{{\log }_{b}n}=n^{{\log }_{b}a}$ 的证明：

$$\begin{array}{rl}{a}^{{\log }_{b}n}& =b^{{{\log }_{b}a}^{{\log }_{b}n}}\\ & =b^{({\log }_{b}a)({\log }_{b}n)}\\ & =b^{{{\log }_{b}n}^{{\log }_{b}a}}\\ & =n^{{\log }_{b}a}\end{array}$$

$a^{{\log }_{b}n}=n^{{\log }_{b}a}$ 得证。

这么看，图二的递归树的总时间复杂度为 $T(n)=\mathrm{\Theta }(n^{{\log }_{b}a})+\sum _{j=0}^{{\log }_{b}n-1}{a}^{j}f(\frac{n}{b^j})$，就是叶子节点层加上其它结点层的值。

证明*：

根据上文这个 $T(n)$ 的时间复杂度，我们定义一个函数 $g(n)$：

$$g(n)=\sum _{j=0}^{{\log }_{b}n-1}{a}^{j}f(\frac{n}{b^j})$$

这个 $g(n)$ 有一些性质：

1. 当 $f(n)=\mathcal{O}(n^{({\log }_{b}a)-ϵ})$ 其中 $ϵ>0$ 是一个常数，则有 $g(n)=\mathcal{O}(n^{{\log }_{b}a})$；
2. 当 $f(n)=\mathrm{\Theta }(n^{{\log }_{b}a})$ 时，则有 $g(n)=\mathrm{\Theta }(n^{{\log }_{b}a}\log n)$；
3. 当 $f(n)=\mathrm{\Omega }(n^{({\log }_{b}a)+ϵ})$ 其中 $ϵ>0$ 是一个常数，且对于一个常数 $c<1$ 和所有足够大的 $n$ 有 $af(\frac{n}{b})\le cf(n)$，则有 $g(n)=\mathrm{\Theta }(f(n))$.
4. 当 $f(n)=\mathrm{\Theta }(n^{{\log }_{b}a}{\log }^{k}n)$ 其中 $k\ge 1$ 是一个常数，则有 $g(n)=\mathrm{\Theta }(n^{{\log }_{b}a}{\log }^{k+1}n)$；

欸！有没有发现好像在哪见过！那是因为这是我从上文复制下来的（

证明关于g函数性质*：

性质 1：

将 $f(n)=\mathcal{O}(n^{({\log }_{b}a)-ϵ})$ 代入进 $g(n)=\sum _{j=0}^{{\log }_{b}n-1}{a}^{j}f(\frac{n}{b^j})$：

$$\begin{array}{rl}g(n)& =\mathcal{O}(\sum _{j=0}^{{\log }_{b}n-1}{a}^j(\frac{n}{b^j}{)}^{({\log }_{b}a)-ϵ})\\ & =\mathcal{O}(\sum _{j=0}^{{\log }_{b}n-1}{a}^j(\frac{n^{({\log }_{b}a)-ϵ}}{b^{j^{({\log }_{b}a)-ϵ}}}))\\ & =\mathcal{O}(\sum _{j=0}^{{\log }_{b}n-1}{n}^{({\log }_{b}a)-ϵ}(\frac{a^j}{b^{j^{({\log }_{b}a)-ϵ}}}))\\ & =\mathcal{O}(n^{({\log }_{b}a)-ϵ}\sum _{j=0}^{{\log }_{b}n-1}(\frac{a}{b^{({\log }_{b}a)-ϵ}}{)}^j)\\ & =\mathcal{O}(n^{({\log }_{b}a)-ϵ}\sum _{j=0}^{{\log }_{b}n-1}(\frac{a{b}^{ϵ}}{a}{)}^j)\\ & =\mathcal{O}(n^{({\log }_{b}a)-ϵ}\sum _{j=0}^{{\log }_{b}n-1}(b^{ϵ}{)}^j)\end{array}$$

然后根据等比数列求和公式化简 $\sum _{j=0}^{{\log }_{b}n-1}(b^{ϵ}{)}^j$：

$$\begin{array}{rl}g(n)& =\mathcal{O}(n^{({\log }_{b}a)-ϵ}(\frac{b^{ϵ{\log }_{b}n}-1}{b^{ϵ}-1}))\\ & =\mathcal{O}(n^{({\log }_{b}a)-ϵ}(\frac{n^{ϵ}-1}{b^{ϵ}-1}))\end{array}$$

这里回想一下 $b,ϵ$ 的定义，（做到不忘初心牢记使命），它们是常数，所以式子中 $\frac{1}{b^{ϵ}-1}$ 也是常数，应忽略：

$$\begin{array}{rl}g(n)& =\mathcal{O}(n^{({\log }_{b}a)-ϵ}\cdot n^{ϵ})\\ & =\mathcal{O}(n^{{\log }_{b}a})\end{array}$$

性质 1 得证。

性质 2：

性质 1 和性质 2 操作一样，就是一直代入再一直化简，将 $f(n)=\mathrm{\Theta }(n^{{\log }_{b}a})$ 代入进 $g(n)=\sum _{j=0}^{{\log }_{b}n-1}{a}^{j}f(\frac{n}{b^j})$：

$$\begin{array}{rl}g(n)& =\mathrm{\Theta }\left(\sum _{j=0}^{{\log }_{b}n-1}{a}^j{\left(\frac{n}{b^j}\right)}^{{\log }_{b}a}\right)\\ & =\mathrm{\Theta }\left(\sum _{j=0}^{{\log }_{b}n-1}{a}^j\left(\frac{n^{{\log }_{b}a}}{b^{j^{{\log }_{b}a}}}\right)\right)\\ & =\mathrm{\Theta }\left(n^{{\log }_{b}a}\sum _{j=0}^{{\log }_{b}n-1}\left(\frac{a^j}{b^{j^{{\log }_{b}a}}}\right)\right)\\ & =\mathrm{\Theta }\left(n^{{\log }_{b}a}\sum _{j=0}^{{\log }_{b}n-1}{\left(\frac{a}{b^{{\log }_{b}a}}\right)}^j\right)\\ & =\mathrm{\Theta }\left(n^{{\log }_{b}a}\sum _{j=0}^{{\log }_{b}n-1}1\right)\\ & =\mathrm{\Theta }(n^{{\log }_{b}a}{\log }_{b}n)\end{array}$$

注意：这里重头戏来了！式子中的 ${\log }_{b}n$ 是可以直接改底数的，因为可以通过换底公式得到对数函数都是同级的。因此我们可以把 $b$ 改成 $2$（即 ${\log }_{b}n$ 化成 $\log n$）：

$$g(n)=\mathrm{\Theta }(n^{{\log }_{b}a}\log n)$$

性质 2 得证。

性质 3：

性质 3 是最特殊的，用 $af(\frac{n}{b})\le cf(n)$ 递归 $j$ 次可以得到 $a^{j}f(\frac{n}{b^j})\le c^{j}f(n)$。再用这个式子套 $g(n)$ 定义：

$$\begin{array}{rl}g(n)\le \sum _{j=0}^{{\log }_{b}n-1}{c}^{j}f(n)& \Rightarrow g(n)\le f(n)\sum _{j=0}^{{\log }_{b}n-1}{c}^j\\ & \Rightarrow g(n)\le f(n)\sum _{j=0}^{\mathrm{\infty }}{c}^j\end{array}$$

解释一下上面的式子，因为 $c$ 都是正数，所以如果 $g(n)\le f(n)\sum _{j=0}^{{\log }_{b}n-1}{c}^j$，显然 $g(n)\le f(n)\sum _{j=0}^{\mathrm{\infty }}{c}^j$。而这么做是为了更好证明。

接下来还是用等比数列求和公式化简：

$$\begin{array}{r}g(n)\le f(n)\sum _{j=0}^{\mathrm{\infty }}{c}^j\Rightarrow g(n)\le \left(\frac{1}{1-c}\right)f(n)\end{array}$$

你可能好奇这个等比数列求和是怎么化的，下面证明一下：

设 $S=c^0+c^1+c^2+\cdots +c^{\mathrm{\infty }}$ 表示 $\sum _{j=0}^{\mathrm{\infty }}{c}^j$，此时公比为 $c$：

$cS=c^1+c^2+c^3+\cdots +c^{\mathrm{\infty }}$，这里 $\mathrm{\infty }+1=\mathrm{\infty }$。

$(1-c)S=c^0=1$

$S=\frac{1}{1-c}$

即 $\sum _{j=0}^{\mathrm{\infty }}{c}^j=\frac{1}{1-c}$。

回到题目，由 $g(n)\le \left(\frac{1}{1-c}\right)f(n)$ 得到 $g(n)=\mathcal{O}(f(n))$。

而根据 $g(n)$ 的定义 $g(n)=f(n)+af(\frac{n}{b})+a^{2}f(\frac{n}{b^2})+\cdots +a^{{\log }_{b}n-1}f(\frac{n}{b^{{\log }_{b}n-1}})\ge f(n)$，得到 $g(n)=\mathrm{\Omega }(f(n))$。

所以 $g(n)=\mathrm{\Theta }(f(n))$。

性质 3 得证。

性质 4：

老套路，将 $f(n)=\mathrm{\Theta }(n^{{\log }_{b}a}{\log }^{k}n)$ 代入进 $g(n)=\sum _{j=0}^{{\log }_{b}n-1}{a}^{j}f(\frac{n}{b^j})$：

$$\begin{array}{rl}g(n)& =\mathrm{\Theta }(\sum _{j=0}^{{\log }_{b}n-1}{a}^j{\left(\frac{n}{b^j}\right)}^{{\log }_{b}a}{\log }^k\left(\frac{n}{b^j}\right))\\ & =\mathrm{\Theta }\left(\sum _{j=0}^{{\log }_{b}n-1}{a}^j\left(\frac{n^{{\log }_{b}a}}{b^{j^{{\log }_{b}a}}}\right){(\log n-\log b^j)}^k\right)\\ & =\mathrm{\Theta }\left(n^{{\log }_{b}a}\sum _{j=0}^{{\log }_{b}n-1}\left(\frac{a^j}{b^{j^{{\log }_{b}a}}}\right)({\log }^{k}n-{\log }^k{b}^j)\right)\\ & =\mathrm{\Theta }\left(n^{{\log }_{b}a}\sum _{j=0}^{{\log }_{b}n-1}{\left(\frac{a}{b^{{\log }_{b}a}}\right)}^j({\log }^{k}n-{\log }^k{b}^j)\right)\\ & =\mathrm{\Theta }(n^{{\log }_{b}a}\sum _{j=0}^{{\log }_{b}n-1}{\log }^{k}n-{\log }^k{b}^j)\\ & =\mathrm{\Theta }\left(n^{{\log }_{b}a}({\log }_{b}n\cdot {\log }^{k}n-\sum _{j=0}^{{\log }_{b}n-1}{\log }^k{b}^j)\right)\\ & =\mathrm{\Theta }({\log }_{b}n\cdot {\log }^{k}n\cdot n^{{\log }_{b}a}-n^{{\log }_{b}a}\sum _{j=0}^{{\log }_{b}n-1}{\log }^k{b}^j)\end{array}$$

和性质 2 一样： ${\log }_{b}n$ 可以直接化为 $\log n$。然后 $-n^{{\log }_{b}a}\sum _{j=0}^{{\log }_{b}n-1}{\log }^k{b}^j$ 是一个负数，在时间复杂度的表示中可以忽略，所以得到：

$$\begin{array}{rl}g(n)& =\mathrm{\Theta }(n^{{\log }_{b}a}{\log }^{k+1}n)\end{array}$$

性质 4 得证。

主定理总时间复杂度证明：

回到图二的总时间复杂度 $T(n)=\mathrm{\Theta }(n^{{\log }_{b}a})+\sum _{j=0}^{{\log }_{b}n-1}{a}^{j}f(\frac{n}{b^j})$。

当 $f(n)=\mathcal{O}(n^{({\log }_{b}a)-ϵ})$ 时：

$$\begin{array}{rl}T(n)& =\mathrm{\Theta }(n^{{\log }_{b}a})+\sum _{j=0}^{{\log }_{b}n-1}{a}^{j}f(\frac{n}{b^j})\\ & =\mathrm{\Theta }(n^{{\log }_{b}a})+g(n)\\ & =\mathrm{\Theta }(n^{{\log }_{b}a})+\mathcal{O}(n^{{\log }_{b}a})\\ & =\mathrm{\Theta }(n^{{\log }_{b}a})\end{array}$$

当 $f(n)=\mathrm{\Theta }(n^{{\log }_{b}a})$ 时：

$$\begin{array}{rl}T(n)& =\mathrm{\Theta }(n^{{\log }_{b}a})+\sum _{j=0}^{{\log }_{b}n-1}{a}^{j}f(\frac{n}{b^j})\\ & =\mathrm{\Theta }(n^{{\log }_{b}a})+g(n)\\ & =\mathrm{\Theta }(n^{{\log }_{b}a})+\mathrm{\Theta }(n^{{\log }_{b}a}\log n)\\ & =\mathrm{\Theta }(n^{{\log }_{b}a}\log n)\end{array}$$

当 $f(n)=\mathrm{\Omega }(n^{({\log }_{b}a)+ϵ})$，且对于一个常数 $c<1$ 和所有足够大的 $n$ 有 $af(\frac{n}{b})\le cf(n)$：

$$\begin{array}{rl}T(n)& =\mathrm{\Theta }(n^{{\log }_{b}a})+\sum _{j=0}^{{\log }_{b}n-1}{a}^{j}f(\frac{n}{b^j})\\ & =\mathrm{\Theta }(n^{{\log }_{b}a})+g(n)\\ & =\mathrm{\Theta }(n^{{\log }_{b}a})+\mathrm{\Theta }(f(n))\\ & =\mathrm{\Theta }(f(n))\end{array}$$

当 $f(n)=\mathrm{\Theta }(n^{{\log }_{b}a}{\log }^{k}n)$ 时：

$$\begin{array}{rl}T(n)& =\mathrm{\Theta }(n^{{\log }_{b}a})+\sum _{j=0}^{{\log }_{b}n-1}{a}^{j}f(\frac{n}{b^j})\\ & =\mathrm{\Theta }(n^{{\log }_{b}a})+g(n)\\ & =\mathrm{\Theta }(n^{{\log }_{b}a})+\mathrm{\Theta }(n^{{\log }_{b}a}{\log }^{k+1}n)\\ & =\mathrm{\Theta }(n^{{\log }_{b}a}{\log }^{k+1}n)\end{array}$$

主定理证毕。

后记 & 感谢名单：

在这篇文章证明的主定理只是对于 $b$ 的幂下的，就是说向上、向下取整的没有证明，但要证明这些实在太难了，要花费更长的时间 （主要还是懒。

我在查找资料的时候发现还有一种定理——Akra-Bazzi定理（打开要梯子）也是时间复杂度的。

感谢名单（排名不分先后）：

@stoorz

@bruteforce_

@SSL_TJH_蒟蒻

@RABU