03Linux与Hadoop操作实验
33.Hadoop是道格·卡丁(Doug Cutting)创建的,Hadoop起源于开源网络搜索引擎Apache Nutch,后者本身也是Lucene项目的一部分。Nutch项目面世后,面对数据量巨大的网页显示出了架构的灵活性不够。当时正好借鉴了谷歌分布式文件系统,做出了自己的开源系统NDFS分布式文件系统。第二年谷歌又发表了论文介绍了MapReduce系统,Nutch开发人员也开发出了MapReduce系统。随后NDFS和MapReduce命名为Hadoop,成为了Apache顶级项目。
34.
36.
启动dfs
查看与创建hadoop用户目录。
在用户目录下创建与查看input目录
将hadoop的配置文件上传到hdfs上的input目录下
运行MapReduce示例作业,输出结果放在output目录下。
查看output目录下的文件
查看输出结果
将输出结果文件下载到本地
查看下载的本地文件
停止hdfs
37.