会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
思考与践行
博客园
首页
新随笔
联系
订阅
管理
Hadoop Join
1. Reduce Join工作原理
Map端的主要工作:为来自不同表或文件的key/value对,打标签以区别不同来源的记录。然后用连接字段作为key,其余部分和新加的标志作为value,最后进行输出。
2. Map Join
使用场景:适用于一张表十分小,一张表很大的场景;
在 Map 端缓存多张表,提前处理业务逻辑,这样增加Map端业务,减少Reduce端数据的压力,尽可能减少数据倾斜;
posted @
2019-05-31 20:53
小a的软件思考
阅读(
372
) 评论(
0
)
编辑
收藏
举报
刷新页面
返回顶部
公告