主定理

定义

主定理（Master Theorem）通常是指在算法分析领域中的一个定理，特别是用于分析递归算法的时间复杂度。

时间复杂度相关定义

在计算机科学中，算法的时间复杂度（time complexity）是一个函数，它定性描述该算法的运行时间。其原理在于，将计算机的每种基本运算（如加减乘除）所需的时间视为常数，然后考察一个算法调用了多大量级的基本运算。时间复杂度常用大 $O$ 符号表述，不包括这个函数的低阶项和首项系数。使用这种方式时，时间复杂度可被称为是渐近的，亦即考察输入值大小趋近无穷时的情况。例如，如果一个算法对于任何大小为 $n$ 的输入，它至多需要 $5n^3 + 3n$ 的时间运行完毕，那么它的渐近时间复杂度是 $O(n^3)$。

为了计算时间复杂度，我们通常会估计算法的操作单元数量，每个单元执行的时间都是相同的。因此，总运行时间和算法的操作单元数量最多相差一个常量系数。

相同大小的不同输入值仍可能造成算法的执行时间不同，因此我们通常使用算法的最坏情况复杂度（时间复杂度上界），记为 $T(n)$ ，定义为任何大小的输入 $n$ 所需的最大执行时间。另一种较少使用的方法是平均情况复杂度，通常有特别指定才会使用（如用于随机算法）。

对 Bachmann–Landau 符号描述如下：

$f(n)=O(g(n))$ 表示 $g$ 是 $f$ 的上界；

$f(n)=\Omega(g(n))$ 表示 $g$ 是 $f$ 的下界；

$f(n)=\Theta(g(n))$ 表示 $g$ 是 $f$ 的上界和下界。

内容

在算法中，假设有递归关系式：

$$T(n)=aT\left(\frac nb\right)+f(n),\ a\geq 1,b>1$$

其中，$n$ 为问题规模，$a$ 为子问题数量，$\frac nb$ 为每个子问题的规模（假设每个子问题规模基本一致），$f(n)$ 为递归以外的计算。

• 情况1： 若 $\exists \epsilon >0$ ，有 $f(n)=O(n^{\log_ba-\epsilon})$ ，则 $T(n)=\Theta(n^{\log_ba})$

• 情况2： 若 $\exists \epsilon \geq0$，有 $f(n)=\Theta(n^{\log_ba}\log^\epsilon n)$ ，则 $T(n)=\Theta(n^{\log_ba}\log^{\epsilon+1}n)$

• 情况3： 若 $\exists \epsilon >0,c<1$ ，有 $f(n)=\Omega(n^{\log_ba+\epsilon}),af\left(\frac nb\right)\leq cf(n)$ ，则 $T(n)=\Theta(f(n))$

证明

设总复杂度为 $T(n)$，有

$$T(n)=\sum_{i=0}^{\log_bn}a^i f\left(\frac n{b^i}\right)$$

将上述三种情况分别代入得 $T(n)$ 得

• 情况1：

$$\begin{aligned} T(n)&=O(\sum_{i=0}^{\log_bn}a^i\left(\frac n{b^i}\right)^{\log_ba-\epsilon})\\ &=O(n^{\log_ba-\epsilon}\sum_{i=0}^{\log_bn}\left(\frac a{b^{\log_ba=\epsilon}}\right)^i)\\ &=O(n^{\log_ba-\epsilon}\sum_{i=0}^{\log_bn}b^{\epsilon j})\\ &=O(n^{\log_ba-\epsilon}\left(\frac{n^\epsilon-1}{b^\epsilon-1}\right))\\ &=O(n^{\log_ba}) \end{aligned}$$

• 情况2：

$$\begin{aligned} T(n) & =\Theta\left(\sum_{i=0}^{\log_b n} a^i\left(\frac{n}{b^i}\right)^{\log _b a} \log ^k\left(\frac{n}{b^i}\right)\right) \\ & =\Theta\left(\sum_{i=0}^{\log_b n} a^i\left(\frac{n^{\log _b a}}{b^{i^{\log _b a}}}\right)\left(\log n-\log b^i\right)^k\right) \\ & =\Theta\left(n^{\log _b a} \sum_{i=0}^{\log_b n}\left(\frac{a}{b^{\log _b a}}\right)^i\left(\log ^k n-\log ^k b^i\right)\right) \\ & =\Theta\left(n^{\log _b a} \sum_{i=0}^{\log_b n} \log ^k n-\log ^k b^i\right) \\ & =\Theta\left(n^{\log _b a}\left(\log _b n \cdot \log ^k n-\sum_{i=0}^{\log_b n} \log ^k b^i\right)\right) \\ & =\Theta\left(\log _b n \cdot \log ^k n \cdot n^{\log _b a}-n^{\log _b a} \sum_{i=0}^{\log_b n} \log ^k b^i\right)\\ & =\Theta\left(n^{\log _b a}\log ^{k+1} n\right) \end{aligned}\\ $$

• 情况3：

$$\begin{aligned} &af(\frac nb)\leq cf(n)\\ &\Rightarrow a^if(\frac nb)\leq c^if(n)\\ &\Rightarrow T(n)\leq \sum_{i=0}^{\log_b n}c^if(n)\\ &\Rightarrow T(n)\leq f(n)\sum_{i=0}^\infty c^i\\ &\Rightarrow T(n)\leq \left(\frac 1{1-c}\right)f(n)\\ &\Rightarrow T(n)=O(f(n)) \end{aligned}$$

又由于 $f(n)=\Omega(n^{\log_ba+\epsilon})$，$T(n)=\Omega(f(n))$，因此

$$T(n)=\Theta(f(n))$$

综上，定理得证。

应用

一般的递归算法都可以用主定理分析时间复杂度。如大多数分治算法等。下面给出一个具体的问题作为实例。

最小圆覆盖问题 ：给定平面上的 $n$ 个点，求出一个最小的一圆包围所有的点。

对于一个答案，一定有至少两个点在圆上。若不然，则圆可以继续缩小。因此我们只需要找到两个点（作为直径）或三个点即可确定一个最小圆覆盖。

我们用到随机增量法，即将给出的点以随机的顺序进行遍历。$\{p_i\}$ 为加入的点集。设前 $i-1$ 个点确定的最小覆盖圆为 $C$，此时加入 $p_i$：

1. 若 $p_i$ 在 $C$ 内，则最小覆盖圆不变。

2. 若 $p_i$ 在 $C$ 外，则其一定在新确定的最小覆盖圆上。此时遍历前 $i-1$ 个点。设当前遍历到 $p_j$，则将 $p_i,p_j$ 确定的圆设为当前最小覆盖圆，并遍历前 $j-1$ 个点，若有点 $p_k$ 在圆外，则将 $p_i,p_j,p_k$ 确定的圆设为当前最小覆盖圆。

可以证明，这样一定能获得一个最小圆覆盖。

设三个循环的复杂度分别为 $T_1(n),T_2(n),T_3(n)$。现在考虑第一层循环，即加入一个点的循环。由于最多只有三个点在最小覆盖圆上，且我们的点是随机加入的，理论上每个点其之前点确定的最小覆盖圆上的概率是相同的，因此点 $p_i$ 在加入时在当前圆外并调用下层循环的概率是 $\frac 3i$。第二层调用类似。因此计算时间复杂度为

$$\begin{aligned} &T_1(n)=\sum_{i=1}^n\frac 3iT_2(i)+O(n)\\ &T_2(n)=\sum_{i=1}^n\frac 3iT_3(i)+O(n)\\ &T_3(n)=O(n) \end{aligned}$$

其中两点及三点确定一个圆可由公式推出，计算量固定可视为常数。

这里每一层对上一层实际上是有 $n$ 个规模为 $1$ 的子问题。由主定理得，最终算法的时间复杂度为 $T_1(n)=O(n)$。

---

PS:tex 写多了感觉不会写 markdown 了……