随笔分类 - kafka

kafka面试题

摘要：Kafka简介和机制 kafka ISR是什么所有与leader副本保持一定程度同步的副本（包括Leader）集合 kafka HW是什么高水位，消费者所能看到的最大的offset（消费位置），同时也是不同副本的同步的最小offset kafka LEO是什么每个分区中多个副本都有的最大的of 阅读全文

posted @ 2021-09-03 17:38 低调的。。。阅读(224) 评论(0) 推荐(0) 编辑

kafka丢失数据

摘要：Kafka 消费端弄丢了数据唯一可能导致消费者弄丢数据的情况，就是说，你消费到了这个消息，然后消费者那边自动提交了 offset，让 Kafka 以为你已经消费好了这个消息，但其实你才刚准备处理这个消息，你还没处理，你自己就挂了，此时这条消息就丢咯。这不是跟 RabbitMQ 差不多吗，大家都知阅读全文

posted @ 2021-09-03 17:36 低调的。。。阅读(375) 评论(0) 推荐(0) 编辑

kafka代码操作生产者，消费者，拦截器，Eagle监控

摘要：生产者发送数据生产者异步发送数据给kafka（没有主题，生产者会创造主题） <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version 阅读全文

posted @ 2021-09-01 22:30 低调的。。。阅读(194) 评论(0) 推荐(0) 编辑

kafka操作

摘要：进入kafka目录 cd /opt/kafka_2.11-0.11.0.0 创建主题（主题：first 分区：2 写到节点数（replication-factor不能超过机器数）：2 zookeeper的ip地址映射：hostname1 端口：2181） bin/kafka-topics.sh -- 阅读全文

posted @ 2021-08-31 15:46 低调的。。。阅读(30) 评论(0) 推荐(0) 编辑

Kafka简介和机制

摘要：定义 kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理好处解耦（各个功能通过消息队列通知完成功能，而不用必须等待上个功能模块的通知，类似于自己排队和黄牛帮排队）削峰（大量的处理响应需要经过消息队列，挨个挨个执行，不会使系统崩溃）可恢复性（当处理消息的进程挂掉，在阅读全文

posted @ 2021-08-30 16:52 低调的。。。阅读(277) 评论(0) 推荐(0) 编辑