摘要: 一、MapReduce的简介 Hadoop MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上,并以一种可靠的,具有容错能力的方式并行地处理上TB级别的海量数据集。 Mapreduce工作机制涉及4个独立的实体: 1、客户端(cl 阅读全文
posted @ 2017-08-14 21:23 茅坤宝骏氹 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 一、简介MapReduce架构 Mapreduce是一个计算框架,既然是做计算的框架,那么表现形式就是有个输入(input),mapreduce操作这个输入(input),通过本身定义好的计算模型,得到一个输出(output),这个输出就是我们所需要的结果。 学习的就是这个计算模型的运行规则。在运行 阅读全文
posted @ 2017-08-14 21:11 茅坤宝骏氹 阅读(106) 评论(0) 推荐(0) 编辑
摘要: 一、HDFS dao接口 二、HDFS dao实现类 阅读全文
posted @ 2017-08-14 20:53 茅坤宝骏氹 阅读(370) 评论(0) 推荐(0) 编辑