spark集群搭建(三台虚拟机)——zookeeper集群搭建(3)

!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下:

virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版(连接虚拟机)

jdk1.7.0、hadoop2.6.5、zookeeper3.4.5、Scala2.12.6、kafka_2.9.2-0.8.1、park1.3.1-bin-hadoop2.6

第一篇:准备三台虚拟机环境,配置静态IP,ssh免密码登录

第二篇:搭建hadoop集群

第三篇:搭建zookeeper集群

第四篇:搭建kafka集群

第五篇:搭建spark集群

本文在前面基础上搭建zookeeper集群

一、spark1上

下面操作均在spark1上进行

1、下载解压移动重命名

3、配置zoo.cfg

$ cd /usr/local/bigdata/zk/conf
$ cp zoo_sample.cfg zoo.cfg
$ vim zoo.cfg

修改dataDir,添加如下:

dataDir=/usr/local/bigdata/zk/data
server.0=spark1:2888:3888
server.1=spark2:2888:3888
server.2=spark3:2888:3888

4、添加标识

$ cd ..
$ mkdir data
$ cd data
$ vim myid
#在myid 文件写入0

二、另外两台机器

1、将spark1上的zookeeper复制到spark2和spark3上

root@spark1:/usr/local/bigdata# scp -r zk root@spark2://usr/local/bigdata/
root@spark1:/usr/local/bigdata# scp -r zk root@spark3://usr/local/bigdata/

2、同理修改 spark2 myid 为1, spark3  myid 为2(这里序号要与zoo.cfg文件中序号一致)

root@spark1:/usr/local/bigdata/zk/data# cat myid
0
root@spark2:/usr/local/bigdata/zk/data# cat myid
1
root@spark3:/usr/local/bigdata/zk/data# cat myid
2

3、配置环境变量(三台机器均需要)

export ZOOKEEPER_HOME=/usr/local/bigdata/zk
export PATH=$PATH:$ZOOKEEPER_HOME/bin

三、启动zookeeper集群

1、启动集群

$ zkServer.sh start   # 启动集群

2、状态如下,一个leader,两个follower,即启动成功,QuorumPeerMain代表zookeeper:

root@spark1:/usr/local/bigdata/zk/conf# zkServer.sh status
JMX enabled by default
Using config: /usr/local/bigdata/zk/bin/../conf/zoo.cfg
Mode: follower

root@spark1:/usr/local/bigdata/zk/conf# jps
2400 SecondaryNameNode
4261 ResourceManager
4150 QuorumPeerMain
2249 DataNode
4458 NodeManager
4733 Jps
2126 NameNode

root@spark2:/usr/local/bigdata/zk/conf# zkServer.sh status
JMX enabled by default
Using config: /usr/local/bigdata/zk/bin/../conf/zoo.cfg
Mode: leader

root@spark2:/usr/local/bigdata/zk/conf# jps
1809 DataNode
3654 NodeManager
3751 Jps
3511 QuorumPeerMain

root@spark3:/usr/local/bigdata/zk/conf# zkServer.sh status
JMX enabled by default
Using config: /usr/local/bigdata/zk/bin/../conf/zoo.cfg
Mode: follower

root@spark3:/usr/local/bigdata/zk/conf# jps
3493 Jps
3253 QuorumPeerMain
3399 NodeManager
1836 DataNode

到这里zookeeper集群就成功安装

进入命令行

$ zkCli.sh
posted @ 2018-08-12 20:33  南边雪  阅读(1598)  评论(0编辑  收藏  举报