Mac-Kafka安装

Mac-Kafka安装

安装kafka

brew install kafka

设置单机版本，修改监听端口

vim /usr/local/etc/kafka/server.properties

//修改
listeners=PLAINTEXT://localhost:9092

启动服务

brew services start zookeeper

brew services start kafka

Broker配置

常用配置

zookeeper.connect

用于保存broker元数据的zookeeper地址是通过zookeeper.connect来制定的，最好在配置文件中制定一组zookeeper服务器，防止zookeeper服务器宕机。

auto.create.topics.enable

在默认情况下，kafka会在一下几种情况下自动创建topic

• 当一个生产者开始往主题写入消息时
• 当一个消费者开始从主题读取消息时
• 当任意一个客户端向主题发送元数据请求时

然而，通常情况下一个主题往往不会先被创建，所以需要将auto.create.topics.enable设置为false。

主题的默认配置

num.partitions:设置topic将包含多少分区。该参数默认为1.注意：我们可以增加topic的分区，但是不能减少分区的个数。如果新创建的topic分区的分区数小于num.partitions，则需要手动设置。

如何选定分区数量：

• 主题需要达到多大的吞吐量
• 单个分区消费数据的速度
• 生产者向单个分区写入的吞吐量
• 单个broker对分区的个数是有限制的，分区越多，占用的内存也越多。

log.retention.ms:根据时间来决定数据被保存多久，参数默认值为168小时。类似还有log.retention. minutes，如果两个都设置了，kafka默认设置最小值。

log.retention.bytes：通过保留消息字节数来判断消息是否过期。比如，设置1G，如果有8个分区，则该主题保留8G消息。

创建一个topic

./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test --partitions 1 --replication-factor 1