两趟多路归并外排序
对于无法全部放入主存的大数据集进行排序,用类似于归并排序的两趟多路外排序。
第一趟,将数据集分为多个片段,每个片段都可以放入主存,则用qsort这样的主存排序算法进行排序,然后每个片段都写回外存(磁盘);
第二趟,将各个片段进行归并。每次,从第一趟得到的已排序过的各个片段中取第一个,排序以后写入最终的排序文件。这一趟可以做一些优化,如每次从各个片段中取一个块,当某个片段中的块用完的时候就取下一块,而输出则是预留一定大小的输出缓冲区,满了以后刷到最终的排序文件。
对通常的数据大小来说,两趟就够了。
第一趟,所有数据都要读入和写出一次;第二趟,所有数据也要读入和写出一次。