摘要: Hadoop专有名词 一. HDFS 二. MapReduce 1.MRAppMaster:MapReduce Application Master 负责整个过程调度和协调的 2.MapTask:在Map阶段:负责Map阶段整个数据处理流程 3.ReduceTask:在Reduce阶段:负责Redu 阅读全文
posted @ 2018-08-31 16:42 BoomOoO 阅读(382) 评论(0) 推荐(0) 编辑
摘要: 一:特殊用法 我们上来不讲普通用法,普通用法放到最后。我们来谈一谈特殊用法,了解这一用法,让你的mapreduce编程能力提高一个档次,毫不夸张!!!扯淡了,让我们进入正题: 我们知道reduce和map都有一个局限性就是map是读一行执行一次,reduce是每一组执行一次 但是当我们想全部得到数据 阅读全文
posted @ 2018-08-31 15:56 BoomOoO 阅读(1508) 评论(0) 推荐(0) 编辑