1服务器环境介绍

在腾讯云购买了三台服务器,三台机器是由三个微信账号单独购买的(为了省钱),因此内网地址互相不能连通,这也为后面的配置增加了一些麻烦。

如果看到后续的一些文章中,在配置三台机器时,有的使用内网ip,有的使用公网ip,有的使用0.0.0.0作为主机ip,就是为了解决这个问题。

但是我认为这种配置是兼容多台主机在同一个内网环境的情况的,但我没有进行验证,各位朋友可以根据自己情况调整ip的设置。

这三台机器,一台作为主节点(master),另外两台作为从节点(slave1、slave2)。用这三台服务器构建一个大数据的集群。

三台服务器使用的是Ubuntu 18.04的操作系统。三台机器的默认登录用户名均为:ubuntu。

 

2修改三台主机的host文件

 

2.1修改主机名称

由于腾讯云的默认主机名比较复杂,因此先修改主机名,以master机器为例,输入指令:

hostname master

将主机名修改为master。

 

slave1机器,使用指令:

hostname slave1

 

slave2机器,使用指令:

hostname slave2

 

2.2修改hosts配置

输入指令:

sudo vim /etc/hosts

打开hosts文件,按照: ip 主机名 的格式,每行一台机器的设置。

master机器设置如下:(出于安全原因,文中用xxx代替了部分真实ip地址)

10.206.xxx.11 master #master 的内网地址
119.45.xxx.83 slave1 #slave1 的公网地址 119.45.xxx.181 slave2 #slave2 的公网地址

 

slave1设置如下:

119.45.xxx.245 master #master 的公网地址
10.206.xxx.8 slave1 #slave1 的内网地址
119.45.xxx.181 slave2 #slave2 的公网地址

 

slave2设置如下:

119.45.xxx.245 master #master 的公网地址
119.45.xxx.83 slave1 #slave1 的公网地址
10.206.xxx.14 slave2 #slave2 的内网地址

 

3更新apt-get

输入命令打开apt-get配置文件

sudo vim /etc/apt/sourses.list

将内容替换为:

deb http://mirrors.tencentyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.tencentyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.tencentyun.com/ubuntu/ bionic-updates main restricted universe multiverse
#deb http://mirrors.tencentyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
#deb http://mirrors.tencentyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.tencentyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.tencentyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.tencentyun.com/ubuntu/ bionic-updates main restricted universe multiverse
#deb-src http://mirrors.tencentyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
#deb-src http://mirrors.tencentyun.com/ubuntu/ bionic-backports main restricted universe multiverse

保存文件后输入命令,更新apt源,并升级:

apt-get update
apt-get upgrade

由于腾讯云的服务器已经设置好了,因此这步可以省略。

 

4设置SSH免密登录

由于腾讯云服务器已经安装并开启了ssh服务,因此不需要从apt-get下载open ssh了。

在master机器上,输入以下命令,并连续点击三次回车,会看到一个图形状的显示,表示公私密钥都已经生成成功:

ssh-keygen

生成的密钥在 ~/.ssh 目录中,目录包含以下三个文件,第一个文件,原本就有,但原来是空的,现在需要将id_rsa.pub

authorized_keys  id_rsa  id_rsa.pub 

 

在master上继续运行命令:

ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

 

然后在slave1上运行命令:

ssh-keygen

ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

 

同样在slave2上运行命令:

ssh-keygen

ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

 

这样三台机器的ssh免密登录就已经设置完成了。

 

5下载大数据相关框架的压缩包,解压并设置环境变量

各组件的版本如下所示:

JDK版本: 1.8
Scala版本:2.11.7
Hadoop版本:2.9.2
Spark版本:2.1.1
Hive版本:2.3.3
Zookeeper版本:3.3.0
HBase版本:1.4.6

 

下载好压缩包后,解压到如下目录(下面的不是linux命令,只是为了说明文件放在了哪个目录中,可以使用相关解压缩命令在完成这些操作):

java -> /usr/local/jdk1.8.0_261
hadoop -> /usr/local/hadoop-2.9.2/

spark -> /usr/local/hadoop-2.9.2/spark-2.1.1-bin-hadoop2.7
scala -> /usr/local/hadoop-2.9.2/scala-2.11.7

hive -> /usr/local/hadoop-2.9.2/hive
zookeeper -> /usr/local/hadoop-2.9.2/zookeeper
hbase -> /usr/local/hadoop-2.9.2/hbase-1.4.6

 

设置环境变量,在三台机器上,输入如下命令,打开环境变量配置文件

sudo vim /etc/profile

在文件的最后,补充如下内容:

export JAVA_HOME=/usr/local/jdk1.8.0_261
export JAVA_BIN=JAVA_HOME/bin/java
export JRE_HOME=JAVA_HOME/jre

export HADOOP_HOME=/usr/local/hadoop-2.9.2
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar

export SCALA_HOME=$HADOOP_HOME/scala-2.11.7
export SPARK_HOME=$HADOOP_HOME/spark-2.1.1-bin-hadoop2.7

export HIVE_HOME=$HADOOP_HOME/hive

export HBASE_HOME=$HADOOP_HOME/hbase-1.4.6

export KAFKA_HOME=$HADOOP_HOME/kafka_2.11-2.3.1/

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin:$HIVE_HOME/bin:$HIVE_HOME/conf:$HBASE_HOME/bin:$KAFKA_HOME:$KAFKA_HOME/bin

 

运行下面的命令使配置文件生效:

source /etc/profile

 

至此环境变量设置完毕。

 

后续文章请看:

大数据框架环境安装与配置02--Hadoop
大数据框架环境安装与配置03--Spark
大数据框架环境安装与配置04--Hive
大数据框架环境安装与配置05--HBase

 

posted on 2020-08-31 09:37  Sempron2800+  阅读(412)  评论(0编辑  收藏  举报