会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
找工作中,欢迎各行业大佬捞我简历 ---著有:《深入理解Flink核心设计与实践原理》一书
为了快速构建项目,使用高性能框架是我的职责,但若不去深究底层的细节会让我失去对技术的热爱。 每一个底层细节的攻克,就越发觉得自己对计算机一无所知,这可能就是对知识的敬畏。
博客园
首页
新随笔
联系
订阅
管理
2017年4月19日
MapReduce中map并行度优化及源码分析
摘要: mapTask并行度的决定机制 一个job的map阶段并行度由客户端在提交job时决定,而客户端对map阶段并行度的规划的基本逻辑为:将待处理数据执行逻辑切片(即按照一个特定切片大小,将待处理数据划分成逻辑上的多个split),然后每一个split分配一个mapTask并行实例处理。 FileInp
阅读全文
posted @ 2017-04-19 16:20 暴躁IT老绵羊
阅读(5962)
评论(0)
推荐(3)
编辑
公告