【算法导论学习笔记】第3章：函数的增长

　　原创博客，转载请注明：

　　http://www.cnblogs.com/wuwenyan/p/4982713.html

　　当算法的输入n非常大的时候，对于算法复杂度的分析就显得尤为重要，虽然有时我们能通过一定的方法得到较为精确的运行时间，但是很多时候，或者说绝大多数时候，我们并不值得去花精力求得多余的精度，因为精确运行时间中的倍增常量和低阶项已经被输入规模本身的影响所支配。我们需要关心的是输入规模无限增加，在极限中，运行时间是如何随着输入规模增大而增加的，通常来说，在极限情况下渐进地更优的算法在除很小的输入外的所有情况下将是最好的选择。

前提假设：本章定义的所有用在渐近记号中的函数均渐近非负（包括f(n),g(n)）。

1. 渐近记号

1.1 Θ记号

　　对于一个已知的函数g(n)，我们定义Θ(g(n))如下：

　　含义是：若存在常数c1和c2，使得对于足够大的n，函数f(n)能够"夹入"c1*g(n)和c2*g(n)之间，则f(n)属于集合Θ(g(n))。我们称g(n)为f(n)的一个渐近紧确界（asymptotially tight bound）。

　　注意：Θ(g(n))是一个函数的集合，所以如果要表示f(n)是Θ(g(n))的一员，则需写为f(n)∈Θ(g(n))，但是在很多教材中，通常使用f(n)=Θ(g(n))来表示相同的概念，这属于对于等式的一个活用。

　　下图形象地表示了渐近紧确界的形式：

1.2 O记号

　　对于一个已知的函数g(n)，我们定义O(g(n))如下：

　　含义是：对于足够大的n，f(n)的值总小于或等于c*g(n)。我们称g(n)为f(n)的一个渐近上界（asymptotic upper bound）。

　　注意：在很多教材中，会发现用O(g(n))来表示一个渐近紧确界，即Θ(g(n))表示的含义，这是不准确的，在算法文献中，标准的做法是区分渐近上界和渐近紧确界。

　　下图形象地表示了渐近上界的形式：

1.3 Ω记号

　　对于一个已知的函数g(n)，我们定义Ω(g(n))如下：

　　含义是：对于足够大的n，f(n)的值总大于或等于c*g(n)。我们称g(n)为f(n)的一个渐近下界（asymptotic lower bound）。

　　下图形象地表示了渐近下界的形式：

1.4 相互关系

　　对任意两个函数f(n)和g(n)，我们有f(n)= Θ(g(n)),当且仅当f(n)= O(g(n))且f(n)= Ω(g(n))。

　　插入排序复杂度分析举例：插入排序最坏情况运行时间的界为Θ(n^2)（并不表示对每个输入的运行时间界都为Θ(n^2)）。首先，插入排序的运行时间为O(n^2)，这意味着最坏的运行时间为O(n^2)。其次，插入排序的运行时间为Ω(n)，这意味着最好的运行时间为Ω(n)（在输入已经排序好的情况下）。

　　所以，插入排序的运行时间介于Ω(n)和O(n^2)之间，且是一个尽可能紧确的界，例如，不能说插入排序的运行时间是Ω(n^2)，因为存在一个输入使得排序在Ω(n)内完成，然而这与插入排序最坏运行时间为Ω(n^2)（由最坏情况运行时间的界为Θ(n^2)所蕴涵）并不矛盾，因为存在一个输入使得需要Ω(n^2)的时间。

1.5 o记号和ω记号

　　对于一个已知的函数g(n)，我们定义o(g(n))如下：