2019年10月8日
MapReduce与Yarn 的详细工作流程分析
摘要： MapReduce详细工作流程之Map阶段 如上图所示 1. 首先有一个200M的待处理文件 2. 切片：在客户端提交之前，根据参数配置，进行任务规划，将文件按128M每块进行切片 3. 提交：提交可以提交到本地工作环境或者Yarn工作环境，本地只需要提交切片信息和xml配置文件，Yarn环境还需要 阅读全文
posted @ 2019-10-08 20:57 总完不成计划的图图 阅读(1182) 评论(0) 推荐(2) 编辑
← → ↓ ↑