大数据平台搭建-基础环境安装

本系列文章主要阐述大数据计算平台相关框架的搭建，包括如下内容：

• 虚拟服务器安装
• 基础环境安装
• zookeeper集群的搭建
• kafka集群的搭建
• hadoop/hbase集群的搭建
• spark集群的搭建
• flink集群的搭建
• elasticsearch集群的搭建
• alluxio集群的搭建

本文主要阐述基础环境的安装，主要是服务器间免密登录，java安装和scala安装。

免密登录

由于后续涉及到各种软件的安装，毫无疑问会用到服务器间的文件传输，为了后续不再重复输入密码，同时搭建Hadoop环境均需要设置无密码登陆。所谓无密码登陆其实是指通过证书认证的方式登陆，使用一种被称为"公私钥"认证的方式来进行ssh登录。
" 公私钥"认证方式简单的解释:首先在客户端上创建一对公私钥 （公钥文件：~/.ssh/id_rsa.pub； 私钥文件：~/.ssh/id_rsa）。然后把公钥放到服务器上（~/.ssh/authorized_keys）, 自己保留好私钥.在使用ssh登录时,ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功即登录。
操作前确认系统已经安装了SSH。

rpm –qa | grep openssh
rpm –qa | grep rsync     

如果没有安装ssh和rsync，可以通过下面命令进行安装。

yum install ssh -->安装SSH协议
yum install rsync -->rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件
service sshd restart -->启动服务

资源列表如下：

<td>主机名</td>
<td>ip地址</td>

bigdata1	192.168.220.200
bigdata2	192.168.220.201
bigdata3	192.168.220.202
bigdata4	192.168.220.203
bigdata5	192.168.220.204

主机名的设置，请参考虚拟服务器安装。

结合公私钥的定义，要设置这5个主机间的免密登录过程如下：

1. bigdata1、bigdata2、bigdata3、bigdata4、bigdata5各自生成公钥id_rsa和私钥id_rsa.pub
2. 然后选择其中一个节点(bigdata1,可随意选择)当做主节点，将其他四个节点的公钥(bigdata2、bigdata3、bigdata4、bigdata5)的文件传送到bigdata1
3. 利用所有服务器的公钥制作认证文件authorized_keys
4. 修改认证文件的权限，并下发到所有节点即可。

设置hosts

切换至root用户，编辑hosts文件

su root
vi /etc/hosts

设置完成后内容如下：

[root@bigdata1 oracle]# cat /etc/hosts
127.0.0.1      localhost localhost.localdomain localhost4 localhost4.localdomain4
::1            localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.220.200  bigdata1
192.168.220.201  bigdata2
192.168.220.202  bigdata3

192.168.220.203  bigdata4
192.168.220.204  bigdata5
[root@bigdata1 oracle]# 

生成密钥

bigdata1、bigdata2、bigdata3、bigdata4、bigdata5各个节点均需执行。

• 切换到主目录，查看是否存在.ssh文件夹(用来存放密钥的)，如果没有，可以创建或者尝试从本机登录到其他主机则会自动生成该目录。

    cd ~
    mkdir .ssh
  

• 切换至.ssh目录

    cd ~/.ssh
  

• 生成密钥，输入如下命令，然后连续按回车键

    ssh-keygen -t rsa -P ""
  

操作完成后结构如下

	[root@bigdata1 .ssh]# pwd
	/home/oracle/.ssh
	[root@bigdata1 .ssh]# ll
	-rw------- 1 oracle oracle 1675 Jul 22 20:39 id_rsa
	-rw-r--r-- 1 oracle oracle  397 Jul 22 20:39 id_rsa.pub
	-rw-r--r-- 1 oracle oracle 3173 Jul 23 11:52 known_hosts
	[root@bigdata1 .ssh]# 

公钥上报

• 复制公钥(bigdata1、bigdata2、bigdata3、bigdata4、bigdata5所有节点均执行)

    cd ~/.ssh
    cp id_rsa.pub id_rsa.pub.$(hostname)
  

• 公钥上报(bigdata2、bigdata3、bigdata4、bigdata5这4个节点将公钥传送至bigdata1)

    scp ~/.ssh/id_rsa.pub.* oracle@bigdata1:/home/oracle/.ssh/
  

操作完成后，bigdata1节点.ssh目录结构如下：

	[root@bigdata1 .ssh]# pwd
	/home/oracle/.ssh
	[root@bigdata1 .ssh]# ll
	total 32
	-rw------- 1 oracle oracle 1675 Jul 22 20:39 id_rsa
	-rw-r--r-- 1 oracle oracle  397 Jul 22 20:39 id_rsa.pub
	-rw-r--r-- 1 oracle oracle  397 Jul 22 20:39 id_rsa.pub.bigdata1
	-rw-r--r-- 1 oracle oracle  397 Jul 22 20:43 id_rsa.pub.bigdata2
	-rw-r--r-- 1 oracle oracle  397 Jul 22 20:43 id_rsa.pub.bigdata3
	-rw-r--r-- 1 oracle oracle  397 Jul 23 11:50 id_rsa.pub.bigdata4
	-rw-r--r-- 1 oracle oracle  397 Jul 23 11:50 id_rsa.pub.bigdata5
	-rw-r--r-- 1 oracle oracle 3173 Jul 23 11:52 known_hosts
	[root@bigdata1 .ssh]#

认证文件的制作和下发

• 用所有节点的公钥制作认证文件（bigdata1节点执行）

    cat /home/oracle/.ssh/id_rsa.pub.bigdata1 >> /home/oracle/.ssh/authorized_keys
    cat /home/oracle/.ssh/id_rsa.pub.bigdata2 >> /home/oracle/.ssh/authorized_keys
    cat /home/oracle/.ssh/id_rsa.pub.bigdata3 >> /home/oracle/.ssh/authorized_keys
    cat /home/oracle/.ssh/id_rsa.pub.bigdata4 >> /home/oracle/.ssh/authorized_keys
    cat /home/oracle/.ssh/id_rsa.pub.bigdata5 >> /home/oracle/.ssh/authorized_keys
  

• 权限更改（bigdata1节点执行）

•   chmod 600 /home/oracle/.ssh/authorized_keys
  

• 认证文件下发（bigdata1节点执行)

    scp /home/oracle/.ssh/authorized_keys oracle@bigdata2:/home/oracle/.ssh/
    scp /home/oracle/.ssh/authorized_keys oracle@bigdata3:/home/oracle/.ssh/
    scp /home/oracle/.ssh/authorized_keys oracle@bigdata4:/home/oracle/.ssh/
    scp /home/oracle/.ssh/authorized_keys oracle@bigdata5:/home/oracle/.ssh/
  

验证

执行如下命令，依次验证(bigdata1、bigdata2、bigdata3、bigdata4、bigdata5各个节点均执行)

ssh bigdata1 
ssh bigdata2
ssh bigdata3
ssh bigdata4
ssh bigdata5
ssh 192.168.220.200  
ssh 192.168.220.201  
ssh 192.168.220.202 
ssh 192.168.220.203  
ssh 192.168.220.204 

如果的确不需要输入密码，即验证通过

java安装

java的安装，不管是linux平台还是windows平台，比较类似，安装完成后配置环境变量即可。

下载

登录官网jdk下载选择对应的版本下载即可，本文选择jdk-8u181-linux-i586.tar.gz。

安装和环境变量配置

切换至主目录

cd ~

解压

tar -zxvf jdk-8u181-linux-i586.tar.gz

重命名

mv jdk1.8.0_181 jdk

编辑环境变量

vi ~/.bash_profile

配置完成后结果如下：

[oracle@bigdata1 install]$ cat ~/.bash_profile 
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs



export JAVA_HOME=/home/oracle/jdk
export PATH=$JAVA_HOME/bin:/sbin:$PATH
export PATH JAVA_HOME

[oracle@bigdata1 install]$ 

验证

输入java -version,显示正确的版本即表示安装成功。
[oracle@bigdata1 install]$ java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) Server VM (build 25.181-b13, mixed mode)

scala安装

scala的安装，不管是linux平台还是windows平台，比较类似，安装完成后配置环境变量即可。

下载

登录官网scala下载选择对应的版本下载即可，本文选择scala-2.11.8.tgz。

安装和环境变量配置

切换至主目录

cd ~

解压

tar -zxvf scala-2.11.8.tgz

重命名

mv scala-2.11.8 scala

编辑环境变量

vi ~/.bash_profile

配置完成后结果如下：

[oracle@bigdata1 install]$ cat ~/.bash_profile 
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs



export JAVA_HOME=/home/oracle/jdk
export SCALA_HOME=/home/oracle/scala
export PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:/sbin:$PATH
export PATH JAVA_HOME SCALA_HOME

验证

输入scala -version,显示正确的版本即表示安装成功。

[oracle@bigdata1 install]$ scala -version
Scala code runner version 2.11.8 -- Copyright 2002-2016, LAMP/EPFL

本文主要阐述基础环境的安装，主要是服务器间免密登录，java安装和scala安装,以便后续构建大数据平台。

---

关于作者
爱编程、爱钻研、爱分享、爱生活
关注分布式、高并发、数据挖掘