摘要:
package com.lagou.mr.sequence; //自定义inputformat读取多个小文件合并为一个SequenceFile文件 //SequenceFile文件中以kv形式存储文件,key--》文件路径+文件名称,value-->文件的整个内容 import org.apache 阅读全文
摘要:
Job 执行原则: 1.尽可能让任务并发执行,合理控制maptask和reducetask数量 2.尽量让所有reduceTask在同一轮完成 3.task的执行时间要合理,maptask 和reducetask的执行时间尽量靠近1min shuffle调优: Map 端调优: 查看yarn web 阅读全文