2018年10月9日
hadoop的企业优化
摘要： 前言： Mapreduce程序的效率的瓶颈在于两点： MapReduce优化方法 数据输入： （1）合并小文件：在执行任务前将小文件进行合并 （2）采用CombineTextInputformat来作为输入，解决输入端大量小文件的场景。将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给 阅读全文
posted @ 2018-10-09 13:37 董秀才 阅读(435) 评论(0) 推荐(0) 编辑