2022年3月4日
MapReduce切片机制及执行流程
摘要： MapReduce的切片机制 在Map阶段会将读取进来的数据进行逻辑切片进行处理。此切片与HDFS的切块不同，HDFS的切块是将文件按照block块的形式保存起来，mr则是将文件按照切片数进行计算默认切片大小等于块大小，也就是128m切一片，切片数与MapTask的数量是一致的，MapTask的并行 阅读全文
posted @ 2022-03-04 00:03 MMarshall 阅读(390) 评论(0) 推荐(0) 编辑