摘要: 流量汇总程序需求 统计每一个用户(手机号)锁耗费的总上行流量、下行流量、总流量。 流程剖析 阶段:map 读取一行数据,切分字段, 抽取手机号,上行流量,下行流量 context.write(手机号,bean) 阶段:reduce 汇总遍历每个bean,将其中的上行流量,下行流量分别累加,得到一个新 阅读全文
posted @ 2017-08-15 15:15 RZ_Lee 阅读(456) 评论(0) 推荐(0) 编辑
摘要: 如果对Hadoop- MapReduce分布式计算框架原理还不熟悉的可以先了解一下它,因为本文的wordcount程序实现就是MapReduce分而治之最经典的一个范例。 单词计数(wordcount)主要步骤: 1.读数据 2.按行处理 3.按空格切分行内单词 4.HashMap(单词,value 阅读全文
posted @ 2017-08-15 02:28 RZ_Lee 阅读(1644) 评论(2) 推荐(1) 编辑
摘要: 分布式计算: 原则:移动计算而尽可能减少移动数据(减少网络开销) 分布式计算其实就是将单台机器上的计算拓展到多台机器上并行计算。 MapReduce是一种编程模型。Hadoop MapReduce采用Master/slave 结构。只要按照其编程规范,只需要编写少量的业务逻辑代码即可实现一个强大的海 阅读全文
posted @ 2017-08-15 01:50 RZ_Lee 阅读(6870) 评论(0) 推荐(1) 编辑