kafka笔记2
Kafka是使用java开发的程序,所以它可以运行在多种操作系统上,安装Kafka之前,需要先安装Java环境,再安装zookeeper
broker常规配置
每个broker都需要有一个标识符,使用broker.id来表示,在整个集群上必须唯一,建议把他们设置成与机器名具有相关性的整数。
2.port
默认情况下启动Kafka,它会监听9092端口,也可以设置其他端口。
3.zookeeper.connect
用于保存broker元数据的zookeeper地址,类似localhost:2181,表示这个zookeeper运行在本地的2181端口上。
4.log.dirs
Kafka把消息保存在磁盘上,地址用log.dirs指定,它是一组逗号分隔的本地文件系统路径。
5.num.recovery.threads.per.data.dir
正常启动或者重启后Kafka使用可配置的线程池处理消息片段,设置大量线程可以节省时间。这个数字乘以log.dirs得到总的线程数。
6.auto.create.topics.enable
是否显式创建主题,如果手动创建,可以设为false。
Kafka默认设置
1.num.partitions
一个主题需要多少分区
2.log.retention.ms
数据可以保留多久,默认是168小时
3.log.retention.bytes
每个分区保留数据的最大字节数,如果设置为1G,当前主题8个分区,则这个主题最多保存8G数据。
4.log.segment.bytes
日志片段的最大长度
5.log.segments.ms
日志片段多长时间会被关闭,和上一个条件在一起,只要一个得到满足,日志片段就会被关闭。
6.message.max.bytes
单个消息的大小,默认是1000000(1MB),如果生产者发送的消息超过这个,就会收到错误信息。