随笔分类 - kafka
摘要：先处理消费端的丢失数据和重复消费 这俩种情况都是 消息偏移offset的问题导致的，只是场景不同。 offset位移提交一般有俩种方式，自动位移提交和手动位移提交。用enable.auto.commit这个配置属性去控制 丢失消息一般是自动提交的问题，所以切换成手动位移提交就可以。手动位移提交分成同
阅读全文
摘要：kafka消费者 1. 消费者有订阅topic有俩种方式，一种是assign，一种是subscribe 2.kafka消费模式 消息中间件一般都是拉取模式 可以看下图一个典型的实例代码 只调用poll，拉取数据太过粗糙，可以用 seek定位到具体位置在进行拉取。
阅读全文
摘要：Zookeeper在Kafka中的作用 https://blog.csdn.net/qq_38262266/article/details/108621326
阅读全文
摘要：客户端在配置bootstrap-server的时候就已经拿到了kafka集群的元数据（broker数，分区数等等），kafka集群是每台broker都保持有整个集群的元数据的，所以访问任何一台节点都可以，不像hdfs要去namenode拿。
阅读全文
摘要：kafka介绍 kafka作为一个消息存储系统，具有异步，削峰，解耦的作用。与一般的消息队列的先进先出特性不同，kafka只是一个消息缓冲池，全局是无序的（也可以强行变成有序，不过这种情况不在这里讨论） kafka的一些概念 消息：Record。Kafka 是消息引擎嘛，这里的消息就是指 Kafka
阅读全文
