java如何高效地读取一个超大文件？（四种方式分析对比）

读取大文件的四种方式

本地压缩了一个文件夹，大概500M左右。虽然不是很大但是，相对还可以。

方法1：Guava读取

String path = "G:\\java书籍及工具.zip";
Files.readLines(new File(path), Charsets.UTF_8);

使用guava读取比较简单，一行代码就搞定了。

下面去jdk的bin目录找到javaVisualVM工具，然后双击运行即可。

时间消耗：20秒

堆内存：最高2.5G

CPU消耗：最高50%

 

方式2：Apache Commons IO普通方式

String path = "G:\\java书籍及工具.zip";
FileUtils.readLines(new File(path), Charsets.UTF_8);

这种方式也比较简单，同样是一行代码。下面运行，也分析一波：

时间消耗：17秒

CPU消耗：最高50%，平稳运行25%左右

这种方式和上面那种基本上消耗差不多

 

方式3：java文件流

FileInputStream inputStream = null;
Scanner sc = null;
try {
    inputStream = new FileInputStream(path);
    sc = new Scanner(inputStream, "UTF-8");
    while (sc.hasNextLine()) {
        String line = sc.nextLine();
        //System.out.println(line);
    }
    if (sc.ioException() != null) {
        throw sc.ioException();
    }
} finally {
    if (inputStream != null) {
        inputStream.close();
    }
    if (sc != null) {
        sc.close();
    }
}

这种方式其实就是java中最常见的方式，然后我们运行分析一波：

时间消耗：32秒，增加了一倍

堆内存：最高1G，少了一半

CPU消耗：平稳运行25%左右

这种方式确实很优秀，但是时间上开销更大。

 

方式4：Apache Commons IO流

LineIterator it = FileUtils.lineIterator(new File(path), "UTF-8");
try {
    while (it.hasNext()) {
        String line = it.nextLine();
    }
} finally {
    LineIterator.closeQuietly(it);
}

这种方式代码看起来比较简单，所以直接运行一波吧：

时间消耗：16秒，最低

堆内存：最高650M，少了一半

 

通过分析对比，发现，Apache Commons IO流是最高效的一种方式。