2016年4月18日
mapreduce 关于小文件导致任务缓慢的问题
摘要： 小文件导致任务执行缓慢的原因： 1.很容易想到的是map task 任务启动太多，而每个文件的实际输入量很小，所以导致了任务缓慢 这个可以通过 CombineTextInputFormat，解决，主要需要设置 mapreduce.input.fileinputformat.split.maxsize 阅读全文
posted @ 2016-04-18 11:07 梅里之巅 阅读(545) 评论(0) 推荐(0) 编辑