摘要:Kafka消费者客户端报错: kafka server transport: Consume get error:kafka: client has run out of available brokers to talk to: EOF 原因是实例化Kafka消费者客户端指定了版本号,去掉版本号后
阅读全文
摘要:实现原理 通过topic区分不同的延迟时长,每个topic对于一个延迟,比如 topic100 仅存储延迟 100ms 的消息,topic1000 仅存储延迟 1s 的消息,依次类推。 生产消息时,消息需按延迟时长投递到对应的topic。消费消息时,检查消息的时间,如果未到达延迟时长,则sleep剩
阅读全文
摘要:问题调用栈: ``` (gdb) bt #0 0x000000000068307c in rd_kafka_q_pop_serve (rkq=0x1ff31a0, timeout_ms=, version=version@entry=0, cb_type=cb_type@entry=RD_KAFKA
阅读全文
摘要:现象 只有一个 rdk:broker-1 线程的 cpu 满,其它的都正常,另一个 rdk:broker-1 线程的 PID 为 18 。观察正常情况下两个 rdk:broker-1 线程的 PID 分别为 16 和 17,问题发生时为 17 和 18,不知道是不是发生了退出重新创建两个 rdk:b
阅读全文
摘要:目录 目录 1 1. 前言 2 2. Broker默认端口号 2 3. 安装Kafka 2 4. 启动Kafka 2 5. 创建Topic 2 6. 列出所有Topic 3 7. 删除Topic 3 8. 查看Topic 3 9. 增加topic的partition数 4 10. 生产消息 4 11
阅读全文
摘要:目录目录 11. 前言 22. 缩略语 23. 配置和主题 33.1. 配置和主题结构 33.1.1. Conf 33.1.2. ConfImpl 33.1.3. Topic 33.1.4. TopicImpl 34. 线程 45. 消费者 55.1. 消费者结构 5...
阅读全文
摘要:确定Kafka安装和启动正确,ZooKeeper可以查到所有的Brokers,但执行:kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 -...
阅读全文