会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
棍子哥
想要比别人强,棍子得比别人粗!
博客园
首页
新随笔
联系
订阅
管理
2018年8月21日
如何确定 Hadoop map和reduce的个数--map和reduce数量之间的关系是什么?
摘要: 1.map和reduce的数量过多会导致什么情况?2.Reduce可以通过什么设置来增加任务个数?3.一个task的map数量由谁来决定?4.一个task的reduce数量由谁来决定?一般情况下,在输入源是文件的时候,一个task的map数量由splitSize来决定的,那么splitSize是由以
阅读全文
posted @ 2018-08-21 10:43 裸睡的猪
阅读(5445)
评论(0)
推荐(0)
编辑