摘要: 1.map方法读取一个文件的一行记录进行分析, 输入:LongWritable(当前读取的文件位置), Text(内容) 2.map将读取到的信息进行分类,输入Context (键值对) ;作为Reduce 的输入数据: 1)其中reduce 中的输入数据的先后是有顺序的,reduce-task 会 阅读全文
posted @ 2018-11-23 23:09 随笔` 阅读(167) 评论(0) 推荐(0) 编辑
摘要: 1. wordcount示例开发 1.1. wordcount程序整体运行流程示意图 map阶段: 将每一行文本数据变成<单词,1>这样的kv数据 reduce阶段:将相同单词的一组kv数据进行聚合:累加所有的v 注意点:mapreduce程序中, map阶段的进、出数据, reduce阶段的进、出 阅读全文
posted @ 2018-11-23 22:55 随笔` 阅读(150) 评论(0) 推荐(0) 编辑