会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
小人物001
博客园
首页
新随笔
联系
订阅
管理
2018年8月9日
Map端数据倾斜
摘要: Map端数据倾斜 MapReduce任务的数据倾斜一般指的是Reduce端数据倾斜,Map端怎么还会出现数据倾斜呢。~~ Mapper任务如下图所示,其中一个map任务耗时特别长 跑了一个ETL程序,两个Map分别读取两类数据,一个是lzo格式,另外一个是txt格式。 map任务通常是一个数据块一个
阅读全文
posted @ 2018-08-09 10:35 小人物-烟火
阅读(789)
评论(0)
推荐(0)
编辑