kafka学习笔记三

kafka集群部署

1 下载安装包

http://kafka.apache.org/downloads.html

2 解压安装包

tar -zxvf kafka_2.11-0.9.0.1.tgz
建立软连接:ln -s kafka_2.11-0.9.0.1 kafka

3 修改kafka broker配置文件

命令:vi server.properties
参数的配置:
#broker的全局唯一编号，不能重复
broker.id=0
#用来监听链接的端口，producer和consumer在此端口建立链接
port=9092
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓存区的大小
socket.send.buffer.bytes=102400
#接受套接字缓存区的大小
socket.receive.buffer.bytes=102400
#请求套接字缓存区的大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/root/apps/logs/kafka
#topic在当前broker上的分片数
num.partitions=2
#用来清理和恢复data下的数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#滚动生成新的segment文件的最大时间
log.roll.hours=168
#日志文件中每个segment的大小，默认是1G
log.segment.bytes=1073741824
#周期性检查文件大小的时间
log.retention.check.interval.ms=300000
#日志清理是否打开
log.cleaner.enable=true
#broker需要在zookeeper保存meta数据
zookeeper.connect=hdp01:2181,hdp02:2181,hdp03:2181
#zookeeper连接超时时间
zookeeper.connection.timeout.ms=6000
#partition buffer中,消息的条数达到阈值，将触发flush到磁盘
log.flush.interval.messages=10000
#消息topic需要在server.properties中设置delete.topic.enable=true否则只是标记删除
delete.topic.enable=true
#此处的host.name为本机IP(重要),如果不改，则客户端会抛出:producer connection to localhost:9092 unsuccessful错误
host.name=hdp01
advertised.host.name=hdp01

4 分发安装包

scp -r kafka_2.11-0.9.0.1 主机名:$PWD
建立软连接:ln -s kafka_2.11-0.9.0.1 kafka

5 再次修改配置文件

a、依次修改各个服务器上server.properties的配置文件中的broker.id，不得重复；
b、同时修改host.name和advertised.host.name的value。

6 启动集群

1、先启动zookeeper的集群:zkServer.sh start
2、启动kafka中broker集群:kafka-server-start.sh /root/apps/kafka/config/
   server.properties