会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
zhangqi
be a coder
博客园
首页
新随笔
联系
订阅
管理
2022年5月9日
MapReduce源码阅读
摘要: MapReduce运行流程图: 个人感悟: maptask中的InputFileReader组件读取的是hdfs中默认的一个block大小的文件,即128M,在mr中一个数据块即为一个split; 环形缓冲区其实为一个连续内存的字节数组,大小默认为100M,达到80%进行磁盘溢写; 从环形缓冲区中溢
阅读全文
posted @ 2022-05-09 19:54 zhangqi0828
阅读(86)
评论(0)
推荐(0)
编辑
公告