dafei10086

2016年5月9日

摘要：统计网站中不同省份用户的访问数阅读全文

posted @ 2016-05-09 23:19 dafei10086 阅读(409) 评论(0) 推荐(0) 编辑

摘要： MapReduce Shuffle 阅读全文

posted @ 2016-05-09 21:34 dafei10086 阅读(218) 评论(0) 推荐(0) 编辑

摘要：一、输入文件 hadoop mapreducehadoop mapreduceyarn jps 二、实现效果 hadoop 2jps 1mapreduce 2yarn 1 三、分析 1）map端输入： hadoop mapreducehadoop mapreduceyarn jps 输出： had 阅读全文

posted @ 2016-05-09 20:56 dafei10086 阅读(266) 评论(0) 推荐(0) 编辑

2016年5月8日

四、PutMerge合并文件程序

摘要： PutMerge合并文件阅读全文

posted @ 2016-05-08 11:12 dafei10086 阅读(291) 评论(0) 推荐(0) 编辑

三、HDFS相关概念

摘要： 1、HDFS中NameNode的启动过程：步骤1：namenode启动时，首先将fsimage（镜像）载入内存，并执行editlog日志的各项操作步骤2：内存中建立起元数据映射，则创建一个新的fsimage和空的editlog 步骤3：等待datanode注册与发送数据块信息 2、HDFS中Na 阅读全文

posted @ 2016-05-08 09:37 dafei10086 阅读(191) 评论(0) 推荐(0) 编辑

2016年5月7日

一、Hadoop伪分布式环境搭建

摘要： Hadoop 2.x伪分布式环境搭建步骤阅读全文

posted @ 2016-05-07 23:14 dafei10086 阅读(298) 评论(0) 推荐(0) 编辑

公告