打赏
2018年6月30日
Hadoop_22_MapReduce map端join实现方式解决数据倾斜（DistributedCache）
摘要： 1.Map端Join解决数据倾斜 1.Mapreduce中会将map输出的kv对，按照相同key分组(调用getPartition)，然后分发给不同的reducetask 2.Map输出结果的时候调用了Partitioner组件(返回分区号)，由它决定将数据放到哪个区中，默认的分组规 则为：根据ke 阅读全文
posted @ 2018-06-30 09:24 QueryMarsBo 阅读(1043) 评论(0) 推荐(0) 编辑