摘要:
先上说说思路,1, 把一个bigdata文件拆分成N个小文件,小文件容量小于当前机器的内存2,对小文件进行排序处理3,对小文件进行并归排序,代码中我是用1 and 1,一个个并归生成新的排序完成的文件,直到全部并归完成简单说说我这里的并归算法,代码中的sortBySmallFile,如有文件A有n个元素, 文件B有m个元素这里的并归,先取出An0,分别比较Bn0,Bn1.... ,当An0>Bn,把Bn写入新文件,直至An0<Bn 时把An0写入结果文件,循环取出An1OK,上代码package com.ben.file;import java.io.BufferedReader; 阅读全文