摘要: 一.序列化 类似于Java的序列化:将对象——>文件 如果一个类实现了Serializable接口,这个类的对象就可以输出为文件 同理,如果一个类实现了的Hadoop的序列化机制(接口:Writable),这个类的对象就可以作为输入和输出的值 例子:使用序列化 求每个部门的工资总额 数据:在map阶 阅读全文
posted @ 2018-03-01 22:19 梦里南柯 阅读(457) 评论(0) 推荐(0) 编辑
摘要: 一.分析Mapreduce程序开发的流程 1.图示过程 输入:HDFS文件 /input/data.txt Mapper阶段: K1:数据偏移量(以单词记)V1:行数据 K2:单词 V2:记一次数 Reducer阶段 : K3:单词(=K2) V3:V2计数的集合 K4:单词 V4:V3集合中元素累 阅读全文
posted @ 2018-03-01 00:14 梦里南柯 阅读(292) 评论(0) 推荐(0) 编辑