Kafka集群搭建和配置

Kafka配置优化

https://www.jianshu.com/p/f62099d174d9

 

1.安装&配置

下载tar包

 

解压后即可使用

 

修改配置文件

将server.properties复制和修改为三个配置文件(为启动3个kafka服务做准备)

 

设置broker.id,集群中各节点的标识,要求不重复

 

绑定端口和ip

 

设置日志文件(数据文件)存放位置

 

设置zk地址和连接超时时间(为方便演示,使用kafka自带的zk)

 

另外两个配置文件参考以上配置,并设置端口为9092,,9094

 

2.自动zk

kafka集群的高可用依赖zk,启动kafka之前要先启动zk(生产环境应使用独立的zk集群)

为方便查看日志,这里使用前台启动方式,生产环境应使用daemon方式

 

3.启动kafka集群

kafka集群是去中心化的,所以无需关注集群中各服务的启动书序

 

同样的,为了方便查看日志,测试时使用前台启动方式

 

 

启动另外两个kafka broker服务,可以看到kafka集群和zk都已启动

 

4.通过kafka自带的console producer和consumer测试订阅和发布

 创建一个topic(新版本的kafka,offset存放在topic中)

 

启动console producer,kafka是去中心化的,连接集群中任何一个节点都可以进行消息发布,kafka会在内部进行同步

 

启动console consumer

 

在producer窗口发布消息

 

consumer成功消费到了消息

 

posted @ 2018-09-13 12:11  zhya_hopeful  阅读(766)  评论(0编辑  收藏  举报