centos7下kafka集群安装部署

应用摘要： 

Apache kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的

分布式发布订阅消息系统，是消息中间件的一种，用于构建实时数据管道和流应用程序，很火！

　　　　　　　　　　Kafka官网：http://kafka.apache.org/

　　　　　　　　　　学习推荐  ：http://orchome.com/kafka/index

　　　　　　　　　　官网下载  ：http://kafka.apache.org/downloads

 

安装环境：

Kafka集群环境搭建，需要准备好一个zookeeper环境（集群），zk集群部署：>> 点击这里 <<

说明：kafka名中的2.12是Scala语言版本，后面的0.11.0.2是kafka版本，端口默认为9092。

安装步骤：

 

　1.下载kafka并解压

　　 [root@server-1 ~]# tar zxvf kafka_2.12-0.11.0.2.tgz -C /opt/ 

　　

 　　

　2. 编辑配置文件

　　进入到config目录，编辑配置文件：server.properties

　　 [root@server-1 config]# vim server.properties 

　　

　　

　　

　　

　　其他配置可以保持默认，保持，退出；

　　参数说明可以参考：http://orchome.com/12 或者 http://blog.csdn.net/lizhitao/article/details/25667831

　　同样的操作在server-2和server-3上修改一下broker.id和host.name，不再赘述。

 

　3. 启动Kafka

　　切换到bin目录中，查看相关脚本：

　　

　　

　　 [root@server-1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 　　　　// -daemon：以后台方式启动

　　查看9092端口状态，确保服务已经启动；

　　同样的，启动server-2和server-3:

　　 [root@server-2 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 

　　 [root@server-3 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 

 　　至此，kafka安装启动完成。

　　关闭命令： [root@server-1 bin]# ./kafka-server-stop.sh 　　　　//不带任何参数即可

 

　4. 检查测试

　　　　在上一篇部署zookeeper集群的时候提到连接kafka使用的时候，里面除了zookeeper之外还有其他内容，来查看一下。

　　登录zookeeper（切换到zk的bin目录下），先连接zk：

　　 [root@server-1 bin]# ./zkCli.sh -server 192.168.1.21:2181 

　[zk: 192.168.1.21:2181(CONNECTED) 2] ls /          

　cluster                    controller                 controller_epoch           brokers
　zookeeper                  admin                      isr_change_notification    consumers
　latest_producer_id_block   config
　[zk: 192.168.1.21:2181(CONNECTED) 2] ls /brokers
　[ids, topics, seqid]
　[zk: 192.168.1.21:2181(CONNECTED) 3] ls /brokers/ids
　[1, 2, 3]
　[zk: 192.168.1.21:2181(CONNECTED) 4] 

　　说明：zookeeper集群建好之后，通过“ls /”出来的只有zookeeper，连接kafka使用后，/ 下面多了不少东西，其中通过查看/brokers/ids可以

　　　　　发现已经检查到了已经安装的三台kafka的broker.id[1,2,3]。

　

　具体Kafka常见操作见下一篇：kafka命令行常见使用　

 

结束.