Hadoop作业优化

 

mapper数量

reduce数量

combiner

中间值压缩

自定义序列

调整shuffle,减少溢出写

关闭推测执行

任务JVM重用

慢启动reduce

posted @ 2016-08-11 08:34  Eamon13  阅读(200)  评论(0)  编辑  收藏  举报