摘要: 转载自 huxihx,原文链接 Kafka 如何读取offset topic内容 (__consumer_offsets) 众所周知,由于Zookeeper并不适合大批量的频繁写入操作,新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中,即__consumer_off 阅读全文
posted @ 2018-08-25 23:00 写出高级BUG 阅读(1393) 评论(0) 推荐(0) 编辑
摘要: 转载自 huxihx,原文链接 Kafka无消息丢失配置 目录 一、Producer端二、Consumer端 Kafka到底会不会丢数据(data loss)? 通常不会,但有些情况下的确有可能会发生。下面的参数配置及Best practice列表可以较好地保证数据的持久性(当然是trade-off 阅读全文
posted @ 2018-08-25 15:31 写出高级BUG 阅读(486) 评论(0) 推荐(0) 编辑
摘要: 转载自 huxihx,原文链接 Kafka如何创建topic? 目录 一、命令行部分 二、后台逻辑部分 Kafka创建topic命令很简单,一条命令足矣: 这条命令会创建一个名为test的topic,有3个分区,每个分区需分配3个副本。那么在这条命令之后Kafka又做了什么事情呢?本文将对此进行一下 阅读全文
posted @ 2018-08-25 15:12 写出高级BUG 阅读(4250) 评论(0) 推荐(0) 编辑
摘要: 转载自 huxihx,原文链接 Kafka副本管理—— 为何去掉replica.lag.max.messages参数 在Kafka设计解析(二)Kafka High Availability (上)文中的ACK前需要保证有多少个备份小节说到,如果一个Follower宕机,或者落后太多,Leader将 阅读全文
posted @ 2018-08-25 14:18 写出高级BUG 阅读(741) 评论(0) 推荐(0) 编辑