摘要: Map端数据倾斜 MapReduce任务的数据倾斜一般指的是Reduce端数据倾斜,Map端怎么还会出现数据倾斜呢。~~ Mapper任务如下图所示,其中一个map任务耗时特别长 跑了一个ETL程序,两个Map分别读取两类数据,一个是lzo格式,另外一个是txt格式。 map任务通常是一个数据块一个 阅读全文
posted @ 2018-08-09 10:35 小人物-烟火 阅读(786) 评论(0) 推荐(0) 编辑