随笔分类 - Kafka
摘要：数据丢失是一件非常严重的事情事，针对数据丢失的问题我们需要有明确的思路来确定问题所在，解决思路如下： 是否真正的存在数据丢失问题，比如有很多时候可能是其他同事操作了测试环境，所以首先确保数据没有第三方干扰。 理清你的业务流程，数据流向，数据到底是在什么地方丢失的数据，在kafka 之前的环节或者ka
阅读全文
摘要：引用：https://www.cnblogs.com/huzhanfei/p/kafka-rebalance-ji-zhi-he-xuan-ju-ce-lue-zong-jie.html Kafka作为大数据领域常用的消息中间件，其核心原理相对于其它消息中间件而言更为复杂，本文主要介绍Kafka消费
阅读全文
摘要：1、Consumer与Consumer Group consumer group是kafka提供的可扩展且具有容错性的消费者机制。组内可以有多个消费者或消费者实例(consumer instance)，它们共享一个公共的ID，即group ID。组内的所有消费者协调在一起来消费订阅主题(subscr
阅读全文
摘要：定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用与大数据实时处理领域。 消息队列 Kafka 本质上是一个 MQ（Message Queue），使用消息队列的好处？（面试会问） 解耦：允许我们独立的扩展或修改队列两边的处理过程。 可恢复性：即使一个
阅读全文
