Hadoop体系结构

　　在前面的博文中，我已经介绍过Hadoop的基本概念了（见博文初识Hadoop），今天来介绍一下Hadoop的体系结构。

　　Hadoop的两大核心是HDFS和MapReduce，而整个Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持的，并且它会通过MapReduce来实现分布式并行任务处理的程序支持。下面我就分别介绍一下HDFS和MapReduce的体系结构。

1. HDFS体系结构

　　HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中Namenode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；而集群中的DataNode主要承担管理存储的数据的任务。

　　HDFS允许用户已文件的形式存储数据。从内部来看，文件被分成若干个数据块，而且这若干个数据块存放在一组DataNode上。Namenode执行文件系统的命名空间操作，比如打开、关闭、重命名等，同时它也负责数据块到具体DataNode的映射。DataNode负责处理文件系统客户端的文件读写请求，并在Namenode的统一调度下进行数据块的创建、删除和复制操作。其体系结构图如下所示。

　　一个典型的部署场景是集群中的一台机器运行一个Namenode实例，其他机器分别运行DataNode实例。当然，并不排除一台机器运行多个DataNode实例的情况。集群中单一Namenode的设计大大简化了系统的架构，Namenode是所有HDFS元数据的管理者，用户需要保存的数据不会经过Namenode，而是直接流向存储数据的DataNode。

2. MapReduce体系结构　　

　　MapReduce是一种并行编程模式，利用这种模式软件开发者可以轻松地开发出分布式并行程序。在Hadoop体系结构中MapReduce是一个简单易用的软件框架，基于它可以将任务分发到上千台商用机器组成的集群上，并以一种可靠容错的方式并行处理大量的数据集，实现Hadoop的并行任务处理功能。

　　MapReduce框架是由一个单独运行在主节点的JobTracker和运行在每个集群从节点的TaskTracker共同组成。主节点负责调度构成一个作业的所有任务，这些任务分部在不同的从节点上。主节点监控它们的运行情况，并且负责重新执行之前失败的任务；从节点仅负责由主节点指派的任务。当一个Job被提交的时候，JobTracker接受到提交的作业和其配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

　　从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统结构体系的核心。HDFS在集群上实现了分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了对文件的操作和存储等操作，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互协调。共同完成了Hadoop分布式集群的任务。

以上就是博主为大家介绍的这一板块的主要内容，这都是博主自己的学习过程，希望能给大家带来一定的指导作用，有用的还望大家点个支持，如果对你没用也望包涵，有错误烦请指出。如有期待可关注博主以第一时间获取更新哦，谢谢！

　　

 

 版权声明：本文为博主原创文章，未经博主允许不得转载。