[Hadoop in Action] 第2章 初识Hadoop
- Hadoop的结构组成
- 安装Hadoop及其3种工作模式：单机、伪分布和全分布
- 用于监控Hadoop安装的Web工具
1、Hadoop的构造模块
（1）NameNode（名字节点）
Hadoop在分布式计算和分布式存储中都采用了主/从结构。NameNode位于HDFS的主端，它指导从端的DataNode执行底层的I/O任务。NameNode是HDFS的书记员，它跟踪文件如何被分割成文件块，而这些块又被哪些节点存储，以及分布式文件系统的整体运行状态是否正常。
运行NameNode消耗大量的内存和I/O资源。因此，为了减轻机器的负载，驻留NameNode的服务器通常不会存储用户数据或执行MapReduce程序的计算任务，就意味着NameNode服务器不会同时是DataNode或者TaskTracker。
不过NameNode的重要性也带来了一个负面影响——hadoop集群的单点失效。对于任何其他的守护进程，如果它们所驻留的节点发生软件或硬件失效，hadoop集群很可能还会继续平稳运行，不然还可以快速重启这个节点。但这样的方法并不适用于NameNode！
（2）DataNode（数据节点）
每个集群上的从节点都会驻留一个DataNode守护进程，来执行分布式文件系统的繁重工作——将HDFS数据块读取或写入到本地文件系统的实际文件中。当希望对HDFS文件进行读写时，文件被分割为多个块，由NameNode告知客户端每个数据块驻留在哪个DataNode。客户端直接与DataNode守护进程通信，来处理与数据块相对应的本地文件。而后，DataNode会与其他DataNode进行通信，复制这些数据块以实现冗余。
默认情况下每个数据块有3个副本，这确保了如果任何一个DataNode奔溃或者无法通过网络访问时，仍然可以读取这些文件。
DataNode不断向NameNode报告。初始化时，每个DataNode将当前存储的数据块告知NameNode。在这个初始映射完成后，DataNode仍会不断地更新NameNode，为之提供本地修改的相关信息，同时接收指令创建、移动或删除本地磁盘上的数据块。
（3）Secondary NameNode（次名节点）
Secondary NameNode是一个用于监测HDFS集群状态的辅助守护进程。像NameNode一样，每个集群有一个SNN，通常也独占一台服务器，该服务器不会运行其他的DataNode或TaskTracker守护进程。SNN与NameNode的不同在于它不接收或记录HDFS的任务实时变化。相反，它与NameNode通信，根据集群所配置的时间间隔获取HDFS元数据的快照。
如前所述，NameNode是Hadoo集群的单一故障点，而SNN的快照可以有助于减少停机的时间并降低数据丢失的风险。然而，NameNode的失效处理需要人工的干预，即手动地重新配置集群，将SNN用作主要的NameNode。
（4）JobTracker（作业跟踪节点）
JobTracker守护进程是应用程序和Hadoop之间的纽带。一旦提交代码到集群上，JobTracker就会确定执行计划，包括决定处理哪些文件，为不同的任务分配节点以及监控所有任务的运行。如果任务失败，JobTracker将自动重启任务，但所分配的节点可能会不同，同时受到预定义的重试次数限制。
每个Hadoop集群只有一个JobTracker守护进程，它通常运行在服务器集群的主节点上。
（5）TaskTracker（任务跟踪节点）
与存储的守护进程一样，计算的守护进程也遵循主/从架构：JobTracker作为主节点，监测MapReduce作业的整个执行过程；同时，TaskTracker管理各个任务在每个从节点上的执行情况。
每个TaskTracker负责执行由JobTracker分配的单项任务。虽然每个从节点上仅有一个TaskTracker，但每个TaskTracker可以生成多个JVM（Java虚拟机）来并行处理许多map或reduce任务。
TaskTracker的一个职责是持续不断地与JobTracker通信。如果JobTracker在指定的时间内没有收到来自TaskTracker的“心跳”，它会假定TaskTracker已经奔溃了，进而重新提交相应的任务到集群中的其他节点中。
典型的Hadoop集群的拓扑结构的特点是在主节点上运行NameNode和JobTracker的守护进程，并使用独立的节点运行SNN以防主节点失效。在小型集群中，SNN也可以驻留在某个从节点上，而在大型集群中，连NameNode和JobTracker都会分别驻留在两台机器上。每个从节点均驻留一个DataNode和TaskTracker，从而在存储数据的同一节点上执行任务。
2、为Hadoop集群安装SSH
生成密钥对：
ssh-keygen -t rsa
将公钥分布并登录验证：
[主节点]
scp ~/.ssh/id_rsa.pub hadoop-user@target:~/master-key
[从节点]
mkdir ~/.ssh
chmod 700 ~/.ssh
mv ~/master-key ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
验证登录：
ssh target
3、运行Hadoop
在运行Hadoop之前需要做一些配置。需要做的第一件事就是指定包括主节点在内所有节点上Java的位置，即在hadoop-env.sh中定义JAVA_HOME环境变量使之指向Java安装目录。
Hadoop0.20之后的设置主要包含在XML配置文件中，包括core-site.xml、hdfs-site.xml、mapred-site.xml共3个文件。
Hadoop2.x的设置新增了yarn-site.xml配置文件。
（1）本地单机模式
单机模式是Hadoop的默认模式，在这种默认模式下所有3个XML文件均为空。
该模式主要用于开发调试MapReduce程序的应用逻辑，而不会与守护进程交互，避免引起额外的复杂性。
（2）伪分布模式
伪分布模式在“单节点集群”上运行Hadoop，其中所有的守护进程都运行在同一台机器上。
该模式在单机模式之上增加了代码调试功能，允许检查内存使用情况、HDFS输入输出，以及其他的守护进程交互。
代码清单 伪分布模式下3个配置文件的示例
1 core-site.xml 2 <property> 3 <name>fs.default.name</name> 4 <value>hdfs://localhost:9000</value> 5 </property> 6 7 mapred-site.xml 8 <property> 9 <name>mapred.job.tracker</name> 10 <value>localhost:9001</value> 11 </property> 12 13 hdfs-site.xml 14 <property> 15 <name>dfs.replication</name> 16 <value>1</value> 17 </property>
在core-site.xml和mapred-site.xml中分别指定了NameNode和JobTracker的主机名与端口。
在hdfs-site.xml中指定了HDFS的默认副本数。
还需要在文件masters中指定SNN的位置，并在文件slaves中指定从节点的位置。
cat masters
localhost
cat slaves
localhost
格式化HDFS：
hadoop namenode -format
启动Hadoop：
start-all.sh
关闭Hadoop：
stop-all.sh
（3）全分布模式
使用如下的服务器名称：
- master——集群的主节点，驻留NameNode和JobTracker守护进程
- backup——驻留SNN守护进程的节点
- hadoop1，hadoop2，hadoop3…——集群的从节点，驻留DataNode和TaskTracker守护进程
代码清单 全分布模式下3个配置文件的示例
1 core-site.xml 2 <property> 3 <name>fs.default.name</name> 4 <value>hdfs://master:9000</value> 5 </property> 6 7 mapred-site.xml 8 <property> 9 <name>mapred.job.tracker</name> 10 <value>master:9001</value> 11 </property> 12 13 hdfs-site.xml 14 <property> 15 <name>dfs.replication</name> 16 <value>3</value> 17 </property>
在core-site.xml和mapred-site.xml中分别指定了NameNode和JobTracker的主机名与端口。
在hdfs-site.xml中指定了HDFS的默认副本数。
还需要在文件masters中指定SNN的位置，并在文件slaves中指定从节点的位置。
cat masters
backup
cat slaves
hadoop1
hadoop2
hadoop3
...
格式化HDFS：
hadoop namenode -format
启动Hadoop：
start-all.sh
关闭Hadoop：
stop-all.sh
4、基于Web的集群用户界面
NameNode通过端口50070提供常规报告，描绘集群上HDFS的状态视图。
JobTracker通过端口50030提供一个MapReduce作业运行时状态的近似视图。
[转载请注明] http://www.cnblogs.com/zhengrunjian/
