摘要: 简单解释 MapReduce 算法 一个有趣的例子 你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃? MapReduce方法则是: 拆分 MapReduce合并了两种经典函数: 映射(Mapping)对集合里的每个目标应用同一个操作。即,如果你想把表单里每个单元格乘以二, 阅读全文
posted @ 2018-03-08 11:24 一直爬行的蜗牛牛 阅读(628) 评论(0) 推荐(0) 编辑
摘要: MapReduce简介 MapReduce执行流程 MapReduce原理 MapReduce的执行步骤: 1、Map任务处理 1.1 读取HDFS中的文件。每一行解析成一个<k,v>。每一个键值对调用一次map函数。 <0,hello you> <10,hello me> 1.2 覆盖map(), 阅读全文
posted @ 2018-03-08 11:23 一直爬行的蜗牛牛 阅读(4854) 评论(0) 推荐(0) 编辑