spark集群搭建(三台虚拟机)——zookeeper集群搭建(3)
!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下:
virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版(连接虚拟机)
jdk1.7.0、hadoop2.6.5、zookeeper3.4.5、Scala2.12.6、kafka_2.9.2-0.8.1、park1.3.1-bin-hadoop2.6
本文在前面基础上搭建zookeeper集群
一、spark1上
下面操作均在spark1上进行
1、下载解压移动重命名
3、配置zoo.cfg
$ cd /usr/local/bigdata/zk/conf $ cp zoo_sample.cfg zoo.cfg $ vim zoo.cfg
修改dataDir,添加如下:
dataDir=/usr/local/bigdata/zk/data
server.0=spark1:2888:3888
server.1=spark2:2888:3888
server.2=spark3:2888:3888
4、添加标识
$ cd .. $ mkdir data $ cd data $ vim myid #在myid 文件写入0
二、另外两台机器
1、将spark1上的zookeeper复制到spark2和spark3上
root@spark1:/usr/local/bigdata# scp -r zk root@spark2://usr/local/bigdata/ root@spark1:/usr/local/bigdata# scp -r zk root@spark3://usr/local/bigdata/
2、同理修改 spark2 myid 为1, spark3 myid 为2(这里序号要与zoo.cfg文件中序号一致)
root@spark1:/usr/local/bigdata/zk/data# cat myid 0
root@spark2:/usr/local/bigdata/zk/data# cat myid 1
root@spark3:/usr/local/bigdata/zk/data# cat myid 2
3、配置环境变量(三台机器均需要)
export ZOOKEEPER_HOME=/usr/local/bigdata/zk export PATH=$PATH:$ZOOKEEPER_HOME/bin
三、启动zookeeper集群
1、启动集群
$ zkServer.sh start # 启动集群
2、状态如下,一个leader,两个follower,即启动成功,QuorumPeerMain代表zookeeper:
root@spark1:/usr/local/bigdata/zk/conf# zkServer.sh status JMX enabled by default Using config: /usr/local/bigdata/zk/bin/../conf/zoo.cfg Mode: follower
root@spark1:/usr/local/bigdata/zk/conf# jps
2400 SecondaryNameNode
4261 ResourceManager
4150 QuorumPeerMain
2249 DataNode
4458 NodeManager
4733 Jps
2126 NameNode
root@spark2:/usr/local/bigdata/zk/conf# zkServer.sh status JMX enabled by default Using config: /usr/local/bigdata/zk/bin/../conf/zoo.cfg Mode: leader
root@spark2:/usr/local/bigdata/zk/conf# jps
1809 DataNode
3654 NodeManager
3751 Jps
3511 QuorumPeerMain
root@spark3:/usr/local/bigdata/zk/conf# zkServer.sh status JMX enabled by default Using config: /usr/local/bigdata/zk/bin/../conf/zoo.cfg Mode: follower
root@spark3:/usr/local/bigdata/zk/conf# jps
3493 Jps
3253 QuorumPeerMain
3399 NodeManager
1836 DataNode
到这里zookeeper集群就成功安装
进入命令行
$ zkCli.sh