MapReduce处理大(小)文件的方式
摘要：
1.输入大文件时 conf.setLong(FileInputFormat.SPLIT_MINSIZE,1024*1024*256L); //小于这个数据时进行合并 conf.setLong(FileInputFormat.SPLIT_MAXSIZE,1024*1024*1024); //大于这个数 阅读全文
posted @ 2021-06-21 17:44 Yr-Zhang 阅读(327) 评论(0) 推荐(0) 编辑