每周总结2,zookeeper配置教程
一、版本介绍
linux : CentOS7
Hadoop : 2.7.6
zookeeper : 3.4.6
hbase : 1.4.6
jdk : jdk1.8.0_171
三个节点的主机名分别为:master、node1、node2
二、安装Hadoop
HBase 是在 Hadoop 这种分布式框架中提供持久化的数据存储与管理的工具。在使用 HBase 的分布式集群模式时,前提是必须有 Hadoop 系统,所以我们需要先安装Hadoop,进行到这一步相信大家已经安装过Hadoop环境了,如果没有安装的可以参考下面的链接。
https://www.cnblogs.com/yy-yang/p/14615048.html
三、安装zookeeper
zookeeper安装步骤
hbase Client客户端、Master、Region都会通过心跳机制(RPC通信)与zookeeper保持联系
1、上传安装包到master并解压tar -zxvf zookeeper-3.4.6.tar.gz
我这里压缩包存放在/usr/local/module下,解压到/usr/local/soft目录下,读者需要根据自己的实际情况安装,下面的环境变量也需要根据自己实际情况配置
2、配置环境变量
vim /etc/profile
在配置文件中加入以下内容
export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin
使环境变量生效source /etc/profile
输入zk按tab键,如果有提示说明环境变量配置的没问题
3、修改配置文件cd /usr/local/soft/zookeeper-3.4.6/conf
cp zoo_sample.cfg zoo.cfg
修改zoo.cfg
data目录下面会创建
注意:路径要与自己的一致dataDir=/usr/local/soft/zookeeper-3.4.6/data
增加以下内容
注意:主机名要改成自己的
server.0=master:2888:3888
server.1=node1:2888:3888
server.2=node2:2888:3888
4、同步到其它节点
该命令在/usr/local/soft下面执行
scp -r zookeeper-3.4.6 node1:`pwd`
scp -r zookeeper-3.4.6 node2:`pwd`
同步配置node1和node2的环境变量
下面写的为绝对路径,可以在任意地方执行
scp /etc/profile node1:/etc/
scp /etc/profile node2:/etc/
在所有节点执行使新配置的环境变量生效source /etc/profile
4、创建/usr/local/soft/zookeeper-3.4.6/data目录,所有节点都要创建
mkdir /usr/local/soft/zookeeper-3.4.6/data
在data目录下创建myid文件vim /usr/local/soft/zookeeper-3.4.6/data/myid
master,node1,node2分别加上0,1,2
这个数字用来唯一标识这个服务,一定要保证唯一性,zookeeper会根据这个id来取出server.x上的配置
5、同步时间
zookeeper节点之间需要实时监听节点是否存活
如果没有ntpdate命令,可以yum命令先安装:yum install ntp -y
从网络服务器同步时间(需要虚拟机联网):ntpdate -u s2c.time.edu.cn
(经常挂起虚拟机,可能会导致时间停止,可使用crontab做成定时同步)
crontab -e
// 进入crontab命令编辑模式
加入以下内容(每十分钟同步一次):
*/10 * * * * ntpdate -u s2c.time.edu.cn
6、启动zk,zkServer.sh start
三台都需要执行zkServer.sh status
查看状态
当有一个leader的时候启动成功,我这里node2为leader,这个是随机的每次启动可能不一样
下面简单介绍下zookeeper的使用,与本次安装无关,可以忽略
连接zkzkCli.sh
zk 是一个目录结构 ,每个节点可以存数据,同时可以有子节点
zk shell
创建目录create /test test create /test/a 1
获取数据get /test
ls /test
delete
只能删除没有子节点的节点rmr /test
删除节点
重置zk
1、杀掉所有zk进程kiil -9 pid
2、删除data目录下的version文件, 所有节点都要删除rm -rf /usr/local/soft/zookeeper-3.4.6/data/version-2
2、启动zkzkServer.sh start