一步步教你搭建Hadoop集群

一、准备工作

假设现在有4台机器，分别是：192.168.1.101，192.168.1.102，192.168.1.103，192.168.1.104。

这里以Centos7系统为例 (不同版本的Linux系统在做某些操作时命令不一样，可自行百度) 四个节点都有登录账户hadoop。

我们计划这么配置：

先关闭防火墙

  1. systemctl stop firewalld.service

  2. systemctl stop iptables.service

然后再检查各机器的22端口是否开放

这里我们把ip映射成主机名，执行如下命令：

  1. vi /etc/hosts

在hosts文件中，编辑以下内容

  1. 192.168.1.101 node1

  2. 192.168.1.102 node2

  3. 192.168.1.103 node3

  4. 192.168.1.104 node4

保存退出

检查node1的3306端口是否开放

然后将hosts文件发送到其它节点上

  1. scp /etc/hosts hadoop@node2:/etc/

  2. scp /etc/hosts hadoop@node3:/etc/

  3. scp /etc/hosts hadoop@node4:/etc/

在发送的过程中需要输入hadoop用户的密码

二、配置免密码登录

然后在家目录下执行 ssh-keygen-t rsa命令，不用管提示，一路回车，直到命令执行完成

再去其他节点执行相同的操作

例如: ssh node2 (跳转到node2节点)

此时每个节点的家目录下都有一个.ssh目录，里面有idrsa(私钥)和idrsa.pub(公钥)两个文件，将node2,node3,node4三个节点的id_rsa.pub复制一份发送到node1的家目录下

  1. scp .ssh/id_rsa.pub hadoop@node1:~/pub2

  2. scp .ssh/id_rsa.pub hadoop@node1:~/pub3

  3. scp .ssh/id_rsa.pub hadoop@node1:~/pub4

把node1的公钥文件也复制一份到家目录下

  1. cp .ssh/id_rsa.pub pub1

在node1的家目录下新建一个文件

  1. touch authorized_keys

将4个节点的公钥文件内容全部输入到authorized_keys中

  1. cat pub1 >> authorized_keys

  2. cat pub2 >> authorized_keys

  3. cat pub3 >> authorized_keys

  4. cat pub4 >> authorized_keys

然后将authorized_keys文件发送到每个节点的.ssh文件夹下

  1. cp authorized_keys .ssh/

  2. scp authorized_keys hadoop@node2:~/

  3. scp authorized_keys hadoop@node3:~/

  4. scp authorized_keys hadoop@node4:~/

将下面这段话复制到每个节点的/etc/ssh/ssh_config文件中

  1. Host *

  2. StrictHostKeyChecking no

  3. UserKnownHostsFile=/dev/null

至此，各节点之间切换就不需要输入密码了

三、安装JDK

下载jdk1.8

下载完后上传到node1的家目录上，输入以下命令解压

  1. tar -zxvf jdk-8u131-linux-x64.tar.gz

解压完后删除压缩包，然后将解压后的文件夹改名为jdk

  1. mv jdk1.8.0_131 jdk

配置环境变量:

  1. vi .bashrc

在文件中编写以下内容

  1. export JAVA_HOME=/home/hadoop/jdk

  2. export PATH=$PATH:$JAVA_HOME/bin

保存退出

执行以下命令重新编译.bashrc文件，使之生效

  1. source .bashrc

将jdk文件夹和.bashrc文件发送到其它节点，并source其它节点的.bashrc文件

  1. scp –r jdk/ hadoop@node2:~/

四、安装zookeeper

下载zookeeper之后上传到node1的家目录上，输入以下命令解压

  1. tar -zxvf zookeeper-3.4.8.tar.gz

解压完后删除压缩包，并修改文件夹名称

  1. mv zookeeper-3.4.8 zookeeper

配置环境变量，在.bashrc文件中，export PATH这一句上面加一句

  1. export ZOOKEEPER=/home/hadoop/zookeeper

然后在export PATH这一句的末尾追加 :

  1. :$ZOOKEEPER_HOME/bin

保存退出，再 source.bashrc一下

进入zookeeper配置文件目录

  1. cd zookeeper/conf

修改配置文件名称

  1. mv zoo_sample.cfg zoo.cfg

编辑配置文件

  1. vi zoo.cfg

将下面这段话写进配置文件

  1. server.1=node1:2888:3888

  2. server.2=node2:2888:3888

  3. server.3=node3:2888:3888

然后找到dataDir并修改其值

  1. dataDir=/home/hadoop/tmp/zookeeper

保存退出

刚才配置的/home/hadoop/tmp/zookeeper这个文件夹如果不存在，要手动创建一下

然后在目录下创建myid文件，myid中写上对应的数字，数字要和zoo.cfg文件里配置的数字对应上，如node1的myid文件里写1，其他节点以此类推，最后保存退出。

将.bashrc和zookeeper文件夹发送到node2和node3节点的hadoop家目录下并source 一下.bashrc文件

在node1,node2,node3三个节点分别执行 zkServer.sh start

提示启动成功

三个节点都启动成功后，在其中某个节点执行 zkServer.sh status

如果有提示follower或者leader，则表示zookeeper安装成功

五、安装Hadoop

下面这个地址下载hadoop2.7.3版本 http://apache.fayea.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

然后上传到node1的家目录上，输入以下命令解压

  1. tar -zxvf hadoop-2.7.3.tar.gz

解压完后删除压缩包，并修改文件夹名称

  1. mv hadoop-2.7.3 hadoop

配置环境变量，在.bashrc文件中，export PATH这一句上面加一句

  1. export HADOOP_HOME=/home/hadoop/hadoop

然后在export PATH这一句的末尾追加 :

  1. :$ HADOOP_HOME /bin:$ HADOOP_HOME /sbin

保存退出，再 source.bashrc一下

进入hadoop的配置文件目录，修改以下配置文件

1. vi hadoop-env.sh

  1. export JAVA_HOME=/home/hadoop/jdk

2. vi hdfs-site.xml

  1. <configuration>

  2. <!--block块存放副本的个数 -->

  3. <property>

  4. <name>dfs.replication</name>

  5. <value>3</value>

  6. </property>

  7. <!--nameNode集群的名称 -->

  8. <property>

  9. <name>dfs.nameservices</name>

  10. <value>hwua</value>

  11. </property>

  12. <!--nameNode集群对应有几个namenode在这里可以填很多个 -->

  13. <property>

  14. <name>dfs.ha.namenodes.hwua </name>

  15. <value>nn1,nn2</value>

  16. </property>

  17. <!--nameNode程序rpc的通信 -->

  18. <property>

  19. <name>dfs.namenode.rpc-address.hwua.nn1</name>

  20. <value>node1:8020</value>

  21. </property>

  22. <!--nameNode程序rpc的通信 -->

  23. <property>

  24. <name>dfs.namenode.rpc-address.hwua.nn2</name>

  25. <value>node2:8020</value>

  26. </property>

  27. <!--nameNode程序http的通信 -->

  28. <property>

  29. <name>dfs.namenode.http-address.hwua.nn1</name>

  30. <value>node1:50070</value>

  31. </property>

  32. <!--nameNode程序http的通信 -->

  33. <property>

  34. <name>dfs.namenode.http-address.hwua.nn2</name>

  35. <value>node2:50070</value>

  36. </property>

  37. <!--这里那几台机器启动了journalNode服务 -->

  38. <property>

  39. <name>dfs.namenode.shared.edits.dir</name>

  40. <value>qjournal://node2:8485;node3:8485;node4:8485/hwua</value>

  41. </property>

  42. <!--nameNode的active和standby在切换时候，提供的一个API -->

  43. <property>

  44. <name>dfs.client.failover.proxy.provider.hwua</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

  45. </property>

  46. <!--当一个namenode挂了，那么standby状态的接管，会在要断没断时将通过ssh到active上将其进程杀死 ，自己接管即：当NN2failover接管时，将通过ssh到namenode里面去，kill process（namenode），防止脑裂-->

  47. <property>

  48. <name>dfs.ha.fencing.methods</name>

  49. <value>sshfence</value>

  50. </property>

  51. <!--通过钥匙去登录别的服务器，开启其它的服务，如DataNode -->

  52. <property>

  53. <name>dfs.ha.fencing.ssh.private-key-files</name>

  54. <value>/home/hadoop/.ssh/id_rsa</value>

  55. </property>

  56. <!--journal存放edits文件的地方 -->

  57. <property>

  58. <name>dfs.journalnode.edits.dir</name>

  59. <value>/usr/hadoopsoft/journal</value>

  60. </property>

  61. <!--当一台nameNode挂了，可以自动的切换 -->

  62. <property>

  63. <name>dfs.ha.automatic-failover.enabled</name>

  64. <value>true</value>

  65. </property>

  66. </configuration>

3. vi core-site.xml

  1. <configuration>

  2. <!-- 指定hdfs的nameservice为namenode -->

  3. <property>

  4. <name>fs.defaultFS</name>

  5. <value>hdfs://hwua</value>

  6. </property>

  7. <!-- 指定hadoop临时目录,如果没有请手动创建 -->

  8. <property>

  9. <name>hadoop.tmp.dir</name>

  10. <value>/home/hadoop/tmp/hadoop</value>

  11. </property>

  12. <!-- 指定zookeeper所在的机器 -->

  13. <property>

  14. <name>ha.zookeeper.quorum</name>

  15. <value>node1:2181,node2:2181,node3:2181</value>

  16. </property>

  17. </configuration>

4. mv mapred-site.xml.template mapred-site.xml

然后 vi mapred-site.xml

  1. <property>

  2. <name>mapreduce.framework.name</name>

  3. <value>yarn</value>

  4. </property>

5. vi yarn-site.xml

  1. <property>

  2. <name>yarn.nodemanager.aux-services</name>

  3. <value>mapreduce_shuffle</value>

  4. </property>

  5. <property>

  6. <name>yarn.resourcemanager.hostname</name>

  7. <value>node1</value>

  8. </property>

6. vi slaves

  1. node2

  2. node3

  3. node4

填的是dataNode所在的节点：node2 node3 node4

而在完全分布式中设置的masters给删除掉，因为完全分布式中设置的secondaryNameNode节点ip，而这里有了高可用，不用secondaryNameNode,而被nn2替换掉了

7. 将hadoop的所有目录都拷贝到其它节点

  1. scp -r /usr/hadoopsoft/hadoop-2.5.1 node2:/usr/hadoopsoft/

  2. scp -r /usr/hadoopsoft/hadoop-2.5.1 node3:/usr/hadoopsoft/

  3. scp -r /usr/hadoopsoft/hadoop-2.5.1 node4:/usr/hadoopsoft/

修改完所有文件后，先启动journalnode

  1. Hadoop-deamonsh start journalnode

在其中一个namenode上格式化：hdfs namenode -format

把刚刚格式化之后的元数据拷贝到另一个namenode上

  • 启动刚刚格式化的namenode

  • 在没有格式化的namenode上执行：hdfs namenode –bootstrapStandby

  • 启动第二个namenode

在其中一个namenode上初始化zkfc: hdfs zkfc –formatZK

停止上面的节点:stop-dfs.sh

最后,全面启动Hadoop: start-all.sh

 

posted @ 2019-12-02 19:00  vekair  阅读(207)  评论(0)  编辑  收藏  举报