摘要: MapReduce编程规范: (1)用户编写的程序分成三个部分:Mapper,Reducer,Driver(提交运行mr程序的客户端) (2)Mapper的输入数据是KV对的形式(KV的类型可自定义) (3)Mapper的输出数据是KV对的形式(KV的类型可自定义) (4)Mapper中的业务逻辑写 阅读全文
posted @ 2017-04-28 22:50 ahu-lichang 阅读(350) 评论(0) 推荐(0) 编辑
摘要: Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架; Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上; 1.1 为什么要MAPREDUCE (1)海量数据在单机上 阅读全文
posted @ 2017-04-28 22:35 ahu-lichang 阅读(484) 评论(0) 推荐(0) 编辑