Loading

在华为云、腾讯云服务器中部署 Hadoop 集群

环境

Ubuntu18.04 LTS，也可以使用 Ubuntu20.04、Ubuntu16.04。

Hadoop 2.7.7，也适用于其他 Hadoop 2.x.y 版本。

本教程使用两个节点作为集群环境：华为云服务器作为 Master 节点；腾讯云服务器作为 Slave 节点。

本文转载自厦大数据库实验室的 Hadoop 集群安装配置教程：Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS_厦大数据库实验室博客 (xmu.edu.cn)。只是对其中的配置文件稍作修改，对于在云服务器部署Hadoop集群，这些修改时必要的。

准备工作

Hadoop 集群的安装配置大致为如下流程:

  1. 选定一台机器作为 Master
  2. 在 Master 和其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
  3. 在 Master 节点上安装 Hadoop，并完成配置
  4. 将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
  5. 在 Master 节点上开启 Hadoop

用到的工具：Xshell 6、WinSCP。我使用 Xshell 6 来远程连接服务器，并使用 WinSCP 来上传对应的软件包到服务器。

PS：第一步 到 第四步 在 Master 和 Slave 节点上操作，而 第五步 在Master 上操作。

第一步 创建 hadoop 用户

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo

第二步 更新 apt

sudo apt-get update
sudo apt-get install vim

第三步 安装 SSH

sudo apt-get install openssh-server

第四步 安装 Java 环境

先去 JDK8官网下载安装包https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html，这里使用的版本是 jdk1.8.0_291。

sudo mkdir /usr/lib/jvm		#创建 /usr/lib/jvm 目录用来存放JDK文件

#	然后把 JDK安装包 jdk-8u291-linux-x64.tar.gz 用 WinSCP 上传到 /home/hadoop 目录下，用 hadoop 用户来登录 WinSCP

sudo tar -zxvf /home/hadoop/jdk-8u291-linux-x64.tar.gz -C /usr/lib/jvm  #把 JDK文件包解压到 /usr/lib/jvm 目录下

vim ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_291
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source ~/.bashrc

java -version

第五步 安装 Hadoop 2.7.7

将 hadoop-2.7.7.tar.gz 文件下载到 home/hadoop。下载链接Index of /dist/hadoop/core (apache.org)

sudo tar -zxf /home/hadoop/hadoop-2.7.7.tar.gz -C /usr/local    # 解压到 /usr/local 中
sudo mv /usr/local/hadoop-2.7.7/ /usr/local/hadoop            # 将文件夹名改为 hadoop
sudo chown -R hadoop /usr/local/hadoop       # 修改文件权限

检查 Hadoop 是否可用

/usr/local/hadoop/bin/hadoop version

分布式配置

第一步 网络配置

  1. 节点IP：

    主节点master：
公网IP为：124.71.176.248
私网IP为：192.168.0.176

从节点slave1：
公网IP为：121.5.159.249
私网IP为：10.0.4.16

  2. master的主机名为：Master
slave1的主机名为：Slave1

    如何修改主机名：

    sudo hostnamectl set-hostname Master

  3. 配置 hosts，将 2 台服务器的 hosts 配置为：

    sudo vim /etc/hosts

    124.71.176.248 Master
192.168.0.176 Master0

121.5.159.249 Slave1
10.0.4.16 Slave01

    修改后需要重启Linux系统。

  4. 在各个节点上都执行如下命令。

    ping Master -c 3
ping Slave1 -c 3

第二步 SSH 无密码登录节点

必须要让Master节点可以SSH无密码登录到各个Slave节点上。首先，生成Master节点的公钥。

ssh localhost
exit

cd ~/.ssh				# 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa*			# 删除之前生成的公钥（如果已经存在）
ssh-keygen -t rsa		# 执行该命令后，遇到提示信息，一直按回车就可以

为了让Master节点能够无密码SSH登录本机，需要在Master节点上执行如下命令：

cat ./id_rsa.pub >> ./authorized_keys

完成后可以执行命令“ssh Master”来验证一下，可能会遇到提示信息，只要输入 yes 即可，测试成功后，请执行“exit”命令返回原来的终端。

ssh Master
exit

接下来，在Master节点将上公钥传输到Slave1节点：

scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/

上面的命令中，scp是secure copy的简写，用于在 Linux下进行远程拷贝文件。

接着在Slave1节点上，将SSH公钥加入授权：

mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在，则忽略本命令
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub    # 用完以后就可以删掉

如果有其他Slave节点，也要执行将Master公匙传输到Slave节点以及在Slave节点上加入授权这两步操作。
这样，在Master节点上就可以无密码SSH登录到各个Slave节点了，可在Master节点上执行如下命令进行检验：

ssh Slave1
exit

第三步 配置 PATH 变量

vim ~/.bashrc

然后，在该文件最下面的位置加入下面一行内容：

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

source ~/.bashrc

第四步 配置集群/分布式环境

在配置集群/分布式模式时，需要修改“/usr/local/hadoop/etc/hadoop”目录下的配置文件，这里仅设置正常启动所必须的设置项，包括slaves 、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml共5个文件，更多设置项可查看官方说明。

(1) 修改文件 slaves

需要把所有 DataNode 的主机名写入该文件，每行一个，默认为 localhost（即把本机作为 DataNode ），所以，在伪分布式配置时，就采用了这种默认的配置，使得节点既作为 NameNode 也作为 DataNode 。在进行分布式配置时，可以保留localhost，让Master节点同时充当 NameNode 和 DataNode ，或者也可以删掉localhost这行，让Master节点仅作为名称节点使用。
本教程让Master节点仅作为 NameNode 使用，因此将slaves文件中原来的localhost删除，只添加如下内容：

Slave1

(2) 修改文件 core-site.xml

把core-site.xml文件修改为如下内容：

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

(3) 修改文件 hdfs-site.xml

对于Hadoop的分布式文件系统HDFS而言，一般都是采用冗余存储，冗余因子通常为3，也就是说，一份数据保存三份副本。但是，本教程只有一个Slave节点作为数据节点，即集群中只有一个数据节点，数据能保存一份，所以 ，dfs.replication的值还是设置为 1。hdfs-site.xml具体内容如下：

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

(4) 修改文件 mapred-site.xml

“/usr/local/hadoop/etc/hadoop”目录下有一个mapred-site.xml.template，需要修改文件名称，把它重命名为mapred-site.xml，然后，把mapred-site.xml文件配置成如下内容：

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>Master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>Master:19888</value>
        </property>
</configuration>

(5) 修改文件 yarn-site.xml

把yarn-site.xml文件配置成如下内容：

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

上述5个文件全部配置完成以后，需要把Master节点上的“/usr/local/hadoop”文件夹复制到各个节点上。需要首先在Master节点上执行如下命令：

cd /usr/local
sudo rm -r ./hadoop/tmp			# 删除 Hadoop 临时文件
sudo rm -r ./hadoop/logs/*		# 删除日志文件
tar -zcf ~/hadoop.master.tar.gz ./hadoop	# 先压缩再复制
cd ~
scp ./hadoop.master.tar.gz Slave1:/home/hadoop

然后在Slave1节点上执行如下命令：

sudo rm -r /usr/local/hadoop    # 删掉旧的（如果存在）
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
sudo chown -R hadoop /usr/local/hadoop

同样，如果有其他Slave节点，也要执行将hadoop.master.tar.gz传输到Slave节点以及在Slave节点解压文件的操作。

先别急着启动Hadoop集群，因为配置文件的IP的问题，需要到各个节点上修改一下配置文件。

首先是在Master上，作以下修改：

【修改文件core-site.xml】

注意这里是 Master0 而不是 Master，用私网IP而不是用公网IP。如果用 Master 会导致无法找到目的主机的错误，下面的配置文件也要作类似的修改。也就是说在本机服务器上配置的时候需要本机IP时填的是本机的私网IP，填其他服务器IP时填的是公网IP。

把core-site.xml文件中的 Master 改为 Master0：

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master0:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

【修改文件hdfs-site.xml】

把 Master 修改为 Master0 ：

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Master0:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

【修改文件mapred-site.xml】

同样把 Master 修改为 Master0：

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>Master0:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>Master0:19888</value>
        </property>
</configuration>

【修改文件 yarn-site.xml】

也是把 Master 修改为 Master0：

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Master0</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

其次是在Slave1上，作以下修改：

【修改slaves文件】

Slave01

至此，修改完毕。

首次启动Hadoop集群时，需要先在Master节点执行名称节点的格式化（只需要执行这一次，后面再启动Hadoop时，不要再次格式化名称节点），命令如下：

hdfs namenode -format

现在就可以启动Hadoop了，启动需要在Master节点上进行，执行如下命令：

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

通过命令jps可以查看各个节点所启动的进程。如果已经正确启动，则在Master节点上可以看到NameNode、ResourceManager、SecondrryNameNode和JobHistoryServer进程，如下图所示。

在Slave节点可以看到DataNode和NodeManager进程，如下图所示。

缺少任一进程都表示出错。另外还需要在Master节点上通过命令“hdfs dfsadmin -report”查看数据节点是否正常启动，如果屏幕信息中的“Live datanodes”不为 0 ，则说明集群启动成功。由于本教程有2个Slave节点充当数据节点，因此，数据节点启动成功以后，会显示如下图所示信息。

hdfs dfsadmin -report

先去把服务器的需要的端口打开，本人是把全部端口打开了。我只是为了做实验，请勿模仿我，我在全端口打开的情况下，次日便遭受了挖矿病毒。

也可以在浏览器中输入地址“http://master:50070/” （master换成公网IP），通过 Web 页面看到查看名称节点和数据节点的状态。如果不成功，可以通过启动日志排查原因。
这里再次强调，伪分布式模式和分布式模式切换时需要注意以下事项：
（a）从分布式切换到伪分布式时，不要忘记修改slaves配置文件；
（b）在两者之间切换时，若遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。所以，如果集群以前能启动，但后来启动不了，特别是数据节点无法启动，不妨试着删除所有节点（包括Slave节点）上的“/usr/local/hadoop/tmp”文件夹，再重新执行一次hdfs namenode -format，再次启动即可。

第五步 执行分布式实例

执行分布式实例过程与伪分布式模式一样，首先创建HDFS上的用户目录，命令如下：

hdfs dfs -mkdir -p /user/hadoop

然后，在HDFS中创建一个input目录，并把“/usr/local/hadoop/etc/hadoop”目录中的配置文件作为输入文件复制到input目录中，命令如下：

hdfs dfs -mkdir input
hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input

接着就可以运行 MapReduce 作业了，命令如下：

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

运行时的输出信息与伪分布式类似，会显示MapReduce作业的进度，如下图所示。

执行过程可能会有点慢，但是，如果迟迟没有进度，比如5分钟都没看到进度变化，那么不妨重启Hadoop再次测试。若重启还不行，则很有可能是内存不足引起，建议增大虚拟机的内存，或者通过更改YARN的内存配置来解决。
在执行过程中，可以打开浏览器，在地址栏输入“http://master:8088/cluster” （master换成公网IP），通过Web界面查看任务进度，在Web界面点击 “Tracking UI” 这一列的History连接，可以看到任务的运行信息，如下图所示。

执行完毕后的输出结果如下图所示。

最后，关闭Hadoop集群，需要在Master节点执行如下命令：

stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver

Hadoop 3.1.3 的配置教程 请看Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)_厦大数据库实验室博客 (xmu.edu.cn)

本文转载自厦大数据库实验室的 Hadoop 集群安装配置教程：Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS_厦大数据库实验室博客 (xmu.edu.cn)。

posted @ 2021-05-12 22:16  小学还没毕业呢  阅读(889)  评论(0)  编辑  收藏  举报