摘要: package com.lagou.mr.sequence; //自定义inputformat读取多个小文件合并为一个SequenceFile文件 //SequenceFile文件中以kv形式存储文件,key--》文件路径+文件名称,value-->文件的整个内容 import org.apache 阅读全文
posted @ 2021-06-24 17:16 wangheng1409 阅读(77) 评论(0) 推荐(0) 编辑
摘要: Job 执行原则: 1.尽可能让任务并发执行,合理控制maptask和reducetask数量 2.尽量让所有reduceTask在同一轮完成 3.task的执行时间要合理,maptask 和reducetask的执行时间尽量靠近1min shuffle调优: Map 端调优: 查看yarn web 阅读全文
posted @ 2021-06-24 16:24 wangheng1409 阅读(186) 评论(0) 推荐(0) 编辑