zourui4271

博客园 首页 新随笔 联系 订阅 管理

2020年8月25日 #

摘要: kafka最初是被LinkedIn设计用来处理log的分布式消息系统,因此它的着眼点不在数据的安全性(log偶尔丢几条无所谓),换句话说kafka并不能完全保证数据不丢失。 尽管kafka官网声称能够保证at-least-once,但如果consumer进程数小于partition_num,这个结论 阅读全文
posted @ 2020-08-25 16:19 zourui4271 阅读(409) 评论(0) 推荐(0) 编辑

摘要: 如果将 consumer 设置为 autocommit,consumer 一旦读到数据立即自动 commit。如果只讨论这一读取消息的过程,那 Kafka 确保了 Exactly once。 但实际使用中应用程序并非在 consumer 读取完数据就结束了,而是要进行进一步处理,而数据处理与 com 阅读全文
posted @ 2020-08-25 16:16 zourui4271 阅读(763) 评论(0) 推荐(0) 编辑