会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
牵着蜗牛🐌去漫步
日常学习,随手一记
博客园
首页
新随笔
联系
订阅
管理
2022年3月26日
MapReduce Shuffle机制
摘要: Mapper端:每个mapTask有一个环形缓冲区,用于存储map任务的输出。默认大小100M(io.sort.mb属性),一旦达到阀值0.8(io.sort.spill.percent),一个后台线程把内容写到(spill)磁盘的指定目录(mapred.local.dir)下的新建的一个溢写文件。
阅读全文
posted @ 2022-03-26 18:14 wzyy
阅读(40)
评论(0)
推荐(0)
编辑