kafka 调参笔记

 

config/server.properties

 

 

log.dirs

解释：kafka 日志文件保存目录

默认值：安装目录下或/tmp下

设置值：/mnt/data1/kafka/logs 

 

 

num.partitions

解释：topic 默认分区数

默认值：1

设置值：1 （创建 topic 时再定制指定）

 

 

replica.lag.time.max.ms=30000

解释：ISR 认定不同步超时时间

默认值：10000 ms

设置值：30000 ms

 

producer.properties

consumer.properties

topic/partitions 数量

对 topic T，设 producer 吞吐 = a mb/s，consuemer 吞吐 = b mb/s，追求吞吐 = t mb/s：

追求partition数量 = max (t/a, t/b)

设集群 broker 数量 = n, 复制因子 = r

partition数量 <= 100 * n * r

单个partition的leader数 <= 100