30作业

一：hadoop1.x和hadoop2.x区别

答：Hadoop1.x由MapReduce（数据计算和资源调度）、HDFS（数据存储）、Common（辅助工具组成）

　　Hadoop2.x中将MapReduce中的资源调度功能提取出来形成了一个新的模块，也就是Yarn。

　　这样可以降低耦合度，MapReduce负责运算数据，yarn负责资源调度

 

二：概念理解
　　（1）HDFS组成：
　　　　　　NameNode：

　　　　　　答：它可以存储文件的元数据（元数据就是数据属性，如文件名、大小、目录结构等）

　　　　　　DataNode：

　　　　　　答：可以在本地文件系统存储文件块数据，也可以进行数据的校验和

　　　　　　SecondaryNameNode：

　　　　　　答：用来监控HDFS状态的辅助后台程序，并且每隔一定时间会获取HDFS元数据的快照。

　　　　　　　　快照相当于每隔一段时间对元数据进行备份，如果再某个时间点数据发生问题，可以回滚，使用备份
　　（2）YARN组成
　　　　　　ResourceManager(处理客户端请求)

　　　　　　答：（1）处理客户端请求

　　　　　　　　（2）监控NodeManager

　　　　　　　　（3）启动和监控ApplicationMaster

　　　　　　　　（4）资源的分配和调度

　　　　　　NodeManager()

　　　　　　答：（1）管理单个节点上的资源

　　　　　　　　（2）处理来自ResourceManager和AppplicationMaster的命令

　　　　　　ApplicationMaster()

　　　　　　答：（1）负责数据的切分

　　　　　　　　（2）为应用程序申请资源并分配给内部的任务

　　　　　　　　（3）任务的监控和容错

　　　　　　Container
　　（3）MapReduce组成

　　　答：它分为Map阶段和Reduce阶段，Map阶段并行处理输入数据，Reduce阶段对Map结果进行收集汇总

 

三：本地运行Hadoop 案例

　　1、需求：（1）在hadoop-2.7.2文件下创建一个input文件夹

　　　　　　  （2）将Hadoop的xml配置文件复制到input

　　　　　　  （3）执行share目录下的MapReduce程序，找到input下所有包含dfs的文件

　　

　　

　　2、需求：（1）在hadoop-2.7.2文件夹下创建一个wcinput文件夹

　　　　　　 （2）在wcinput文件夹下创建一个wc.input文件

　　　　　　 （3）编辑wc文件

　　　　　　 （4）查看wcinput目录下所有文件里每个单词出现的次数，将结果汇总到wcoutput文件夹里

　　　　　　　

　　　　　　　

四：伪分布式运行Hadoop 案例

 　　1、需求：（1）在HDFS文件系统创建一个input文件夹

　　　　　　　　

　　　　　　　（2）将测试文件内容上传到文件系统

　　　　　　　　

　　　　　　　（3）查看上传的文件是否正确

　　　　　　　　

　　　　　　   （4）运行MapReduce程序

　　　　　　　　

　　　　　　　（5）查看输出结果

　　　　　　　　

　　　　　　　（6）将测试内容下载到本地

　　　　　　　　

　　　　　　　（7）删除输出结果