摘要: 1.优先副本的选举 优先副本是为了解决负载失衡的情况,是指在AR集合列表中的第一个副本,比如分区0的AR集合列表为[1,2,0],那么分区0的优先副本即为1。理想情况下优先副本就是该分区的leader副本 优先副本的选举是指通过一定的方式促使优先副本选举为leader副本,来促进集群的负载均衡,也称 阅读全文
posted @ 2020-07-28 23:46 马晟 阅读(470) 评论(0) 推荐(0) 编辑
摘要: Kafka对主题的管理通过Kafka-topics.sh来执行,内容如下: exec $(dirname $0)/kafka-run-class.sh kafka.admin.TopicCommand "$@" 内部调用了kafka.admin.TopicCommand类 1.创建主题 如果配置了参 阅读全文
posted @ 2020-07-28 22:45 马晟 阅读(426) 评论(0) 推荐(0) 编辑
摘要: 1.fetch.min.bytes consumer一次拉取中拉取的最小数据量,默认值为1B 2.fetch.max.bytes consumer一次拉取中拉取的最大数据量,默认值为52428800B,即50MB 3.fetch.max.wait.ms 指定Kafka的等待时间,默认值为500ms, 阅读全文
posted @ 2020-07-28 21:19 马晟 阅读(2403) 评论(0) 推荐(0) 编辑
摘要: 正常的消费逻辑需要以下几步: 配置消费者相关参数 创建一个消费者对象 订阅主题 拉取消息并消费 提交消费位移 关闭消费者实例 示例代码: import org.apache.kafka.clients.consumer.*; import org.apache.kafka.common.serial 阅读全文
posted @ 2020-07-28 21:18 马晟 阅读(216) 评论(0) 推荐(0) 编辑