Mac-Kafka安装

Mac-Kafka安装

安装kafka#

brew install kafka

设置单机版本,修改监听端口

vim /usr/local/etc/kafka/server.properties

//修改
listeners=PLAINTEXT://localhost:9092

启动服务#

brew services start zookeeper
brew services start kafka

Broker配置#

常用配置#

zookeeper.connect

用于保存broker元数据的zookeeper地址是通过zookeeper.connect来制定的,最好在配置文件中制定一组zookeeper服务器,防止zookeeper服务器宕机。

auto.create.topics.enable

在默认情况下,kafka会在一下几种情况下自动创建topic

  • 当一个生产者开始往主题写入消息时
  • 当一个消费者开始从主题读取消息时
  • 当任意一个客户端向主题发送元数据请求时

然而,通常情况下一个主题往往不会先被创建,所以需要将auto.create.topics.enable设置为false。

主题的默认配置#

num.partitions:设置topic将包含多少分区。该参数默认为1.注意:我们可以增加topic的分区,但是不能减少分区的个数。如果新创建的topic分区的分区数小于num.partitions,则需要手动设置。

如何选定分区数量:

  • 主题需要达到多大的吞吐量
  • 单个分区消费数据的速度
  • 生产者向单个分区写入的吞吐量
  • 单个broker对分区的个数是有限制的,分区越多,占用的内存也越多。

log.retention.ms:根据时间来决定数据被保存多久,参数默认值为168小时。类似还有log.retention. minutes,如果两个都设置了,kafka默认设置最小值。

log.retention.bytes:通过保留消息字节数来判断消息是否过期。比如,设置1G,如果有8个分区,则该主题保留8G消息。

创建一个topic#

./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test --partitions 1 --replication-factor 1

作者:ALINGMAOMAO

出处:https://www.cnblogs.com/ALINGMAOMAO/p/17379226.html

版权:本作品采用「署名-非商业性使用-相同方式共享 4.0 国际」许可协议进行许可。

posted @   青山新雨  阅读(455)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 没有源码,如何修改代码逻辑?
· NetPad:一个.NET开源、跨平台的C#编辑器
· PowerShell开发游戏 · 打蜜蜂
· 凌晨三点救火实录:Java内存泄漏的七个神坑,你至少踩过三个!
more_horiz
keyboard_arrow_up light_mode palette
选择主题
menu
点击右上角即可分享
微信分享提示