摘要: Kafka学习(六)  防止数据丢失 无消息丢失配置 我们有时候听到开发说消息丢了。遇到这种情况你要想找这个消息通常是去生产者的日志里去看是否发送了这条消息以及去Kafka日志里去找是否有这条消息,不过这都是事后措施,通常来说我们如果要求不丢失消息,那么我们要怎么做呢? 但是从上图可以看出来这里面涉及三方,生产者、broker和消费者。 阅读全文
posted @ 2022-07-23 19:15 诗意般的代码 阅读(293) 评论(0) 推荐(0) 编辑
摘要: Kafka学习(三)  主题、分区与副本 主题、分区与副本 基本概念 主题、分区和副本的关系 主题是一个逻辑概念,代表了一类消息,实际工作中我们使用主题来区分业务,而主题之下并不是消息,而是分区,分区是一个物理概念,它是磁盘上的一个目录,目录中是保存消息的日志段文件。分区的目的是为了提高吞吐量,实现主题的负载均衡,一个主题至少有一个分区;而 阅读全文
posted @ 2022-07-23 19:03 诗意般的代码 阅读(850) 评论(1) 推荐(0) 编辑
摘要: Kafka学习(四)  日志 日志 这里所说的日志是用来记录生产者向主题发送消息而产生的日志,但日志中记录的并不是消息而是record,因为Kafka并不是将原始消息直接写入日志的,而是把消息和其他元数据封装在一个record里写入日志,我们把这个record叫做消息集合。 这些日志信息放在配置文件的log.dirs指定的目录中 阅读全文
posted @ 2022-07-23 18:57 诗意般的代码 阅读(995) 评论(0) 推荐(0) 编辑
摘要: 66666 阅读全文
posted @ 2022-07-23 12:15 诗意般的代码 阅读(29) 评论(0) 推荐(0) 编辑