2021年1月4日
mapreduce运行的5个阶段
摘要： mapreduce在运行的过程中大致概括为5个步骤1. [input阶段]获取输入数据进行分片作为map的输入2. [map阶段]过程对某种输入格式的一条记录解析成一条或多条记录3. [shffle阶段]对中间数据的控制，作为reduce的输入4. [reduce阶段]对相同key的数据进行合并5. 阅读全文
posted @ 2021-01-04 10:44 幻雪追梦 阅读(3554) 评论(0) 推荐(0) 编辑