Hadoop 集群搭建
一、Hadoop 2.0
Hadoop 2.0包含一个支持NameNode横向扩展的HDFS,一个资源管理系统 YARN 和一个运行在 YARN 上的离线计算框架MapReduce。相比于Hadoopl.0,Hadoop 2.0功能更加强大，且具有更好的扩展性、性能，并支持多种计算框架。
1.集群简介
●HADOOP集群具体来说包含两个集群:
HDFS集群
YARN集群
两者逻辑上分离，但物理上常在一起。
●HDFS集群负责海量数据的存储，集群中的角色主要有:
NameNode、DataNode、SecondaryNameNode
●YARN集群负责海量数据运算时的资源调度，集群中的角色主要有:
ResourceManager、NodeManager
Mapreduce 是一个分布式运算编程框架,是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在HDFS集群上，并且受到YARN集群的资源调度管理。
2.Hadoop 的部署方式
Hadoop部署方式分三种, Standalone mode(独立模式).Pseudo-Distributedmode(伪分布式模式)、Clustermode(群集模式),其中前两种都是在单机部署。
●独立模式
又称为单机模式,仅1个机器运行1个java进程，主要用于调试。
●伪分布模式
也是在1个机器上运行HDFS的NameNode和DataNode、YARN 的 ResourceManger和NodeManager,但分别启动单独的java 进程,主要用于调试。
●集群模式
主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。
二、伪分布式集群搭建
HDFS配置文件可发送邮箱 xudong1597@foxmail.com请求获取
三、eclipse 配置 MapReduce编程模型
MapReduce配置文件可发送邮箱 xudong1597@foxmail.com请求获取
