zookeeper及kafka集群搭建
zookeeper及kafka集群搭建
1、有关zookeeper的介绍可参考:http://www.cnblogs.com/wuxl360/p/5817471.html
2、zookeeper安装
下载地址:http://zookeeper.apache.org/
安装过程:http://blog.csdn.net/shirdrn/article/details/7183503/
3、安装过程中服务器status查看失败
安装完成后zookeeper单个服务器启动成功,但是集群在选举的过程中失败。运行./zkServer.sh status状态查看失败,查看bin目录下的日志文件,每个集群日志文件都是服务器1无法连接到服务器2,服务器1无法连接到服务器3这种错误,一直以为是网络的问题,但是每台服务器都能ping通其他几台服务器,而且防火墙也是关闭的状态,最后查看到原来是自己的myid的文件配置问题,因为自己给自己的每一个,myid文件的内容都是在zoo.zfg文件中定义的每个服务器的id,应该是每台服务器对应自己的id,修改后成功。
在这个过程中,如果在已存在zookeeper的集群上在安装zookeeper文件,那么需要注意在配置文件中修改段端口号,以及kafka之间进行通信的端口,leader选举的端口,首先查看要设置的端口号是否被占用,最好设置5000以后的端口号,因为在5000以前的端口很容易和其他服务的端口冲突。
4、kafka安装及配置
安装过程:http://www.cnblogs.com/z-sm/p/5691760.html
kafka安装过程中如果集群中已经有Kafka,那么注意在安装的过程中修改kafkka的端口号,以及给自己kafka在zookeeper的目录下新建一个目录作为kafka的根目录。