[MapReduce_add_4] MapReduce 的 join 操作


 0. 说明

  Map 端 join && Reduce 端 join

 

 


1. Map 端 join

  Map 端 join:大表+小表 => 将小表加入到内存,迭代大表每一行,与之进行拼串操作

  Map 端 join 代码

 

 


 

2. Reduce 端 join

  Reduce 端 join: 大表+大表

 

  1. 获取文件名 (FileSplit)context.getSplit()
  2. 将 order 数据添加标记位 1 将 customer 数据添加标记位 2
  3. 重写CompKey,将 id 和 flag 的组合键进行排序
  4. 重写分组对比器,将 id 相同的数据放在一个 reduce 循环

 

  Reduce 端 join 代码

 

 


 

posted @ 2018-11-12 23:19  山间一棵松  阅读(100)  评论(0编辑  收藏  举报