2022年5月9日
MapReduce源码阅读
摘要： MapReduce运行流程图： 个人感悟： maptask中的InputFileReader组件读取的是hdfs中默认的一个block大小的文件，即128M,在mr中一个数据块即为一个split； 环形缓冲区其实为一个连续内存的字节数组，大小默认为100M，达到80%进行磁盘溢写； 从环形缓冲区中溢 阅读全文
posted @ 2022-05-09 19:54 zhangqi0828 阅读(90) 评论(0) 推荐(0) 编辑