笔试题--对一个编码格式为utf-8,文件后缀为txt的文本文件,要求使用JAVA的NIO方法,对文件中特定单词出现次数进行统计,输出对应单词的出现次数

 

1.题目:
对一个编码格式为utf-8,文件后缀为txt的文本文件,要求使用JAVA的NIO方法,对文件中特定单词出现次数进行统计,输出对应单词的出现次数。
要求:
1. 输入一个本地文本文件地址,文本文件最大为2G,文本编码类型为utf-8。
2. 使用JAVA提供的NIO方法进行文本统计。
3. 控制程序运营时对内存空间的占用,在JVM参数为-Xmx20M 的情况下可以正常运行,并统计特定单词出现次数和总时间耗时。
4. 出于对效率的考虑,可以采用多线程并行分析的方式。

 

复制代码
public class ReadFileNioThread implements Runnable {

    public String filePath = "D:\\file.txt";  //文件路径
    public String keyword = "abc";  //关键字
    public int bufSize = 10000; //设置缓冲区大小

    public static void main(String args[]) throws Exception {
        ReadFileNioThread readThread = new ReadFileNioThread();
        new Thread(readThread, "读取文件线程").start();
    }

    @Override
    public void run() {
        long startTime = System.currentTimeMillis();
        FileChannel fileChannel = null;
        try {
            //如果关键字比分配的内存大则直接返回
            if (keyword.length() > 20 * 1024 * 1024) {
         return; }
else { //如果关键字比缓冲区大则设置关键字长度加1位缓冲区大小 if (keyword.length() > bufSize) { bufSize = keyword.length() + 1; } } int num = 0; String joint = ""; File file = new File(filePath); fileChannel = new RandomAccessFile(file, "r").getChannel(); ByteBuffer byteBuffer = ByteBuffer.allocate(bufSize); while (fileChannel.read(byteBuffer) != -1) { int readSize = byteBuffer.position(); byte[] bs = new byte[readSize]; byteBuffer.rewind(); byteBuffer.get(bs); String line = new String(bs, 0, bs.length, "UTF-8"); line = joint + line; while (line.length() > keyword.length()) { int index = line.indexOf(keyword); if (index > -1) { num++; line = line.substring(index + keyword.length()); //将截取到最后的部分取出来,拼接到下一次从缓冲区取出的字符串前,避免关键字截断 if (line.length() <= readSize) { joint = line; } } else { break; } } byteBuffer.clear(); } if (fileChannel.isOpen()) { fileChannel.close(); } long endTime = System.currentTimeMillis(); System.out.println("关键字数量为:" + num + "------计算耗时" + (endTime - startTime) + "毫秒"); } catch (IOException e) { if (fileChannel.isOpen()) { try { fileChannel.close(); } catch (IOException es) { System.out.println("关闭出现异常"); } } System.out.println("文件读取出现异常"); } finally { if (fileChannel.isOpen()) { try { fileChannel.close(); } catch (IOException e) { System.out.println("关闭出现异常"); } } } } }
复制代码
posted @   大浪不惊涛  阅读(451)  评论(0编辑  收藏  举报
编辑推荐:
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
阅读排行:
· 分享4款.NET开源、免费、实用的商城系统
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
· 记一次.NET内存居高不下排查解决与启示
点击右上角即可分享
微信分享提示