kafka server.properties

#每个server需要单独配置broker id,如果不配置系统会自动配置。
broker.id=1  #注意这里要和server1,2,3对应

#监听地址,格式PLAINTEXT://IP:端口。
listeners=PLAINTEXT://192.168.88.129:9092  #本机的kafka ip,可以监听内网ip和0.0.0.0(不能为外网ip),默认为java.net.InetAddress.getCanonicalHostName()获取的ip。

#
advertised.listeners:生产者和消费者连接的地址,kafka会把该地址注册到zookeeper中,所以只能为除0.0.0.0之外的合法ip或域名 ,默认和listeners的配置一致。

#接收和发送网络信息的线程数。
num.network.threads=3

#服务器用于处理请求的线程数,其中可能包括磁盘I/O。
num.io.threads=8

# 套接字服务器使用的发送缓冲区(SO_SNDBUF)
socket.send.buffer.bytes=102400

#套接字服务器使用的接收缓冲区(SO_RCVBUF)
socket.receive.buffer.bytes=102400

# 套接字服务器将接受的请求的最大大小(防止OOM)
socket.request.max.bytes=104857600

# 日志文件目录。
log.dirs=/opt/data/kafka/logs

#partition数量。
num.partitions=6

#在启动时恢复日志、关闭时刷盘日志每个数据目录的线程的数量,默认1。
num.recovery.threads.per.data.dir=1

#偏移量话题的复制因子(设置更高保证可用),为了保证有效的复制,偏移话题的复制因子是可配置的,在偏移话题的第一次请求的时候可用的broker的数量至少为复制因子的大小,否则要么话题创建失败,要么复制因子取可用broker的数量和配置复制因子的最小值。
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

#日志文件删除之前保留的时间(单位小时),默认168
log.retention.hours=168

#单个日志文件的大小,默认1073741824
log.segment.bytes=536870912

#检查日志段以查看是否可以根据保留策略删除它们的时间间隔。
log.retention.check.interval.ms=300000

#ZK主机地址,如果zookeeper是集群则以逗号隔开。
zookeeper.connect=192.168.88.129:2181,192.168.88.131:2181,192.168.88.132:2181

#连接到Zookeeper的超时时间。
zookeeper.connection.timeout.ms=6000

问题

  1. 修改了配置文件中的broker id,重启kakfa,失败:
    修改了brokerid,在日志文件里面 /opt/logminer/kafka/kafka-logs/meta.properties也有一个记录brokerid的配置,也需要更改才行

  2. 修改了kafka的监听ip启动不了

java.lang.IllegalArgumentException: requirement failed: advertised.listeners cannot use the nonroutable meta-address 0.0.0.0. Use a routable IP address.
    at scala.Predef$.require(Predef.scala:277)
    at kafka.server.KafkaConfig.validateValues(KafkaConfig.scala:1203)
    at kafka.server.KafkaConfig.<init>(KafkaConfig.scala:1170)
    at kafka.server.KafkaConfig$.fromProps(KafkaConfig.scala:881)
    at kafka.server.KafkaConfig$.fromProps(KafkaConfig.scala:878)
    at kafka.server.KafkaServerStartable$.fromProps(KafkaServerStartable.scala:28)
    at kafka.Kafka$.main(Kafka.scala:82)
    at kafka.Kafka.main(Kafka.scala)

修改advertised.listeners=PLAINTEXT://{ip}:9092 # ip可以内网、外网ip、127.0.0.1 或域名

常见问题,
https://www.jianshu.com/p/9e72b3942c59

posted @ 2020-02-26 13:09  π=3.1415926  阅读(443)  评论(0编辑  收藏  举报