centos7下kafka集群安装部署
centos7下kafka集群安装部署
应用摘要：
Apache kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的
分布式发布订阅消息系统，是消息中间件的一种，用于构建实时数据管道和流应用程序，很火！
Kafka官网：http://kafka.apache.org/
学习推荐 ：http://orchome.com/kafka/index
官网下载 ：http://kafka.apache.org/downloads
安装环境：
Kafka集群环境搭建，需要准备好一个zookeeper环境（集群），zk集群部署：>> 点击这里 <<
说明：kafka名中的2.12是Scala语言版本，后面的0.11.0.2是kafka版本，端口默认为9092。
2. 编辑配置文件
进入到config目录，编辑配置文件：server.properties
[root@server-1 config]# vim server.properties
其他配置可以保持默认，保持，退出；
参数说明可以参考：http://orchome.com/12 或者 http://blog.csdn.net/lizhitao/article/details/25667831
同样的操作在server-2和server-3上修改一下broker.id和host.name，不再赘述。
3. 启动Kafka
切换到bin目录中，查看相关脚本：
[root@server-1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties // -daemon：以后台方式启动
查看9092端口状态，确保服务已经启动；
同样的，启动server-2和server-3:
[root@server-2 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
[root@server-3 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
至此，kafka安装启动完成。
关闭命令： [root@server-1 bin]# ./kafka-server-stop.sh //不带任何参数即可
4. 检查测试
在上一篇部署zookeeper集群的时候提到连接kafka使用的时候，里面除了zookeeper之外还有其他内容，来查看一下。
登录zookeeper（切换到zk的bin目录下），先连接zk：
[root@server-1 bin]# ./zkCli.sh -server 192.168.1.21:2181
[zk: 192.168.1.21:2181(CONNECTED) 2] ls / cluster controller controller_epoch brokers zookeeper admin isr_change_notification consumers latest_producer_id_block config [zk: 192.168.1.21:2181(CONNECTED) 2] ls /brokers [ids, topics, seqid] [zk: 192.168.1.21:2181(CONNECTED) 3] ls /brokers/ids [1, 2, 3] [zk: 192.168.1.21:2181(CONNECTED) 4]
说明：zookeeper集群建好之后，通过“ls /”出来的只有zookeeper，连接kafka使用后，/ 下面多了不少东西，其中通过查看/brokers/ids可以
发现已经检查到了已经安装的三台kafka的broker.id[1,2,3]。
