03Linux与Hadoop操作实验

33.Hadoop是道格·卡丁(Doug Cutting)创建的,Hadoop起源于开源网络搜索引擎Apache Nutch,后者本身也是Lucene项目的一部分。Nutch项目面世后,面对数据量巨大的网页显示出了架构的灵活性不够。当时正好借鉴了谷歌分布式文件系统,做出了自己的开源系统NDFS分布式文件系统。第二年谷歌又发表了论文介绍了MapReduce系统,Nutch开发人员也开发出了MapReduce系统。随后NDFS和MapReduce命名为Hadoop,成为了Apache顶级项目。

34.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 36.

启动dfs

 

 

 

查看与创建hadoop用户目录。

 

 

 在用户目录下创建与查看input目录

 

 

 将hadoop的配置文件上传到hdfs上的input目录下

 

 

 

运行MapReduce示例作业,输出结果放在output目录下。

 

 

 

 

 

 查看output目录下的文件

 

 

 

 

 

 

 

查看输出结果

 

 

将输出结果文件下载到本地

 

 

查看下载的本地文件

 

 

停止hdfs

 

 

 

 

 37.

 

posted @ 2021-10-19 09:40  暴龙战士123  阅读(30)  评论(0编辑  收藏  举报