2017 年 8月 14 日随笔档案 - 张超五

2017年8月14日

摘要： mapreduce工作的5个阶段（按照时间顺序）： 1.输入分片（input split）、 2.map阶段、 3.combiner阶段、 4.shuffle阶段和 5.reduce阶段 1.输入分片（input split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（i 阅读全文

posted @ 2017-08-14 22:38 张超五阅读(2862) 评论(0) 推荐(0) 编辑

简述mapreduce的四个对象

摘要： mapreduce的四个对象：客户端(client)，JobTracker，TaskTracker，Hdfsg 1.客户端(client) 编写mapreduce程序，配置作业，提交作业，这就是程序员完成的工作。 2.JobTracker 初始化作业，分配作业，与TaskTracker通信，协调整个阅读全文

posted @ 2017-08-14 22:21 张超五阅读(273) 评论(0) 推荐(0) 编辑