谈从10亿个数中找出前10万个最大的

谈从10亿个数中找出前10万个最大的

期的实验显示10亿个浮点数大概占据3G左右的空间,因此全部一次性读入内存目前在个人PC上是不太现实的。本次讨论不考虑内存等等,只考虑算法。

如果一次性比较排序,然后输出前面最大的10w个,那么众所周知,算法的时间复杂度不下于O(N lgN),此处的N为数的个数(10亿)。

如果用堆排序,由于堆排序像合并排序而不像插入排序,堆排序的运行时间为O(N lgN);又想插入排序而不像合并排序,堆排序是一种原地排序。因此堆排序具有相对小的运行时间和占用相对小的额外空间的优点。

再则,利用最小堆的性质,堆顶元素是整棵树中具有最小值的元素,因此,我们可以构建这样的一个最小堆:

step1:取前m个元素(例如m=10万),建立一个小顶堆

         保持一个小顶堆得性质的步骤,运行时间为O(lgm);

          建立一个小顶堆运行时间为m*O(lgm)=O(m lgm);

        其实建立一个小顶堆实际运行时间为O(m);具体分析参考算法导论。

step2:顺序读取后续元素,直到结束

      每次读取一个元素,如果该元素比堆顶元素小,直接丢弃

      如果大于堆顶元素,则用该元素替换堆顶元素,然后保持最小堆性质

    最坏情况是每次都需要替换掉堆顶的最小元素,因此需要维护堆的代价为(N-m)*O(lgm);

最后这个堆中的元素就是前最大的10W个。

    时间复杂度为O(N lgm)。

posted @ 2011-03-24 23:27  Watson.Long  阅读(2096)  评论(1编辑  收藏  举报