算法复杂性

我们如何定义一个程序的运行时间？为了排除“不同计算机”的运行速度对时间的影响，我们将一个程序的运行时间定义为“一个固定计算模型上单位操作的次数”，这个固定的计算模型一般指图灵机。

程序的运行时间与输入规模有关，也与程序采用的算法有关。同样规模的输入，由于其数据可能具有不同的“性质”，也会导致程序运行的时间有所不同。因此，我们用时间复杂度的概念来描述程序对于输入规模（比如\(n\)）在最坏情况下的运行时间。

我们关心复杂度的级别而不是复杂度的细节，因此我们引入高阶无穷大中的记号：

如果\(T(n),g(n)\)在\(n \to \infty\)时有\(\dfrac{T(n)}{g(n)} \leq C\)（有上界），就记\(T(n)=O(g(n))\)。其中\(g(n)\)是我们的一个标尺，对于多项式可以取\(n,n^2\cdots\)。如果取\(g(n)=n^2\)，那么形如\(T(n)=n^2,2n^2,5n^2+7n+9,n,2n+3,1\)的复杂度都可以被记为\(T(n)=O(n^2)\)，意思是\(T(n)\)不会超过\(g(n)\)这个级别，\(T(n)=n^3\)就不满足\(T(n)=O(n^2)\)。总之，\(O(g(n)) \leq C \cdot g(n)\)。

如果\(T(n),g(n)\)在\(n \to \infty\)时有\(\dfrac{T(n)}{g(n)} \geq C\)（有下界），就记\(T(n)=\Omega(g(n))\)。如果取\(g(n)=n^2\)，那么形如\(T(n)=n^2,2n^2,5n^2+7n+9,n^3,2^n\)的复杂度都可以被记为\(T(n)=\Omega(n^2)\)，意思是\(T(n)\)至少有\(g(n)\)这个级别，\(T(n)=n,1\)等就不满足\(T(n)=\Omega(n^2)\)。总之，\(\Omega(g(n)) \geq C \cdot g(n)\)。

如果又有\(T(n)=O(g(n)),T(n)=\Omega(g(n))\)，那么就记\(T(n)=\Theta(g(n))\)。如果取\(g(n)=n^2\)，那么形如\(T(n)=n^2,2n^2,5n^2+7n+9\)的复杂度都可以被记为\(T(n)=\Theta(n^2)\)，意思是\(T(n)\)正好就是\(g(n)\)这个级别，\(T(n)=n,n^3\)等都是不满足\(T(n)=\Theta(n^2)\)的。\(\Theta\)是一种精确的描述。总之，\(C_1 \cdot g(n) \leq \Theta(g(n)) \leq C_2 \cdot g(n)\)。

举个例子来分析算法的时间复杂度：求\(n\)个数中的第\(k\)小。一种思路是，每次找最小然后删除，复杂度\(O(n^2)\)；一种思路是，先排序然后取第\(k\)个，复杂度\(O(n\log n)\)。有一个称为“中位数的中位数”的算法，首先把整个数组五个五个分组，求出每组的中位数，复杂度\(O(n)\)；再求出这些中位数的中位数\(v\)，这是一个递归的问题，假设整个问题的时间复杂度为\(T(n)\)，那么这一步耗费\(T(\dfrac{n}{5})\)；把所有小于\(v\)的数放进集合\(L\)，所有大于\(v\)的数放进集合\(R\)，等于\(v\)的放进集合\(M\)，耗费\(O(n)\)；此时我们发现，在这\(\dfrac{n}{5}\)个中位数中，比\(v\)小的那些中位数所在的每个组里至少有三个比\(v\)小，比它大的也是如此。也就是说，至少有\(\dfrac{n}{2} \cdot \dfrac{3}{5}\)个数比\(v\)小，有\(\dfrac{n}{2} \cdot \dfrac{3}{5}\)个数比\(v\)大。因此有\(\dfrac{3}{10}n \leq |L|,|R| \leq \dfrac{7}{10}n\)。因此递归到\(L,R\)的复杂度不超过\(T(\dfrac{7}{10}n)\)。综上，算法的复杂度可以写成递归表达式：\(T(n)=T(\dfrac{n}{5})+T(\dfrac{7n}{10})+O(n)\)。我们把\(O(n)\)写作\(Cn\)的形式：\(T(n)=T(0.2n)+T(0.7n)+Cn\)，递归地展开，最终\(T\)的项会趋向0，而带有\(Cn\)的项形成了等比数列\(T(n)=Cn+0.9Cn+0.9^2Cn+\cdots\)，因此\(T(n) \leq 10Cn\)，得到了\(T(n)=O(n)\)。