郭慕荣 - 博客园

2022年3月19日

摘要：启动Arthas，因为系统安装了几个不同版本的Jvm,所以启动起来要按照一定的格式 /Library/Java/JavaVirtualMachines/jdk1.8.0_191.jdk/Contents/Home/bin/java -jar arthas-boot.jar 阅读全文

posted @ 2022-03-19 15:53 郭慕荣阅读(152) 评论(0) 推荐(0) 编辑

Kafka的Controller Broker

摘要：控制器组件（Controller），是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。集群中任意一台 Broker 都能充当控制器的角色，但是，在运行过程中，只能有一个 Broker 成为控制器，行使其管理和协调的阅读全文

posted @ 2022-03-19 10:51 郭慕荣阅读(233) 评论(0) 推荐(0) 编辑

2022年3月18日

mac之kafka-eagle安装

摘要： 1.下载链接：http://download.kafka-eagle.org/1.1 输入这条命令行【/usr/libexec/java_home -V】查看默认的 jdk 下载地址注意：命令行终端是区分大小写的（-v 是不对的，必须是大写 -V） 2.配置环境变量，首先也要配置java的环境变量阅读全文

posted @ 2022-03-18 16:08 郭慕荣阅读(388) 评论(0) 推荐(0) 编辑

kafka文件存储形式

摘要： Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。topic存储结构见下图：由于生产者生产的消息会不断追加到 log 文件末尾，为防止 log 文件过大导致数据定位效率低下，Kafka 采取了分片和索引机制，将每个partition分为多个seg 阅读全文

posted @ 2022-03-18 11:17 郭慕荣阅读(435) 评论(0) 推荐(0) 编辑

Kafka数据积压(消费者如何提高吞吐量)

摘要：总结：阅读全文

posted @ 2022-03-18 10:56 郭慕荣阅读(157) 评论(0) 推荐(0) 编辑

Kafka漏消费和重复消费

摘要：总结：阅读全文

posted @ 2022-03-18 10:48 郭慕荣阅读(100) 评论(0) 推荐(0) 编辑

2022年3月17日

Kafka指定 Offset 消费

摘要：阅读全文

posted @ 2022-03-17 19:11 郭慕荣阅读(169) 评论(0) 推荐(0) 编辑

Kafka手动提交 offset

摘要：虽然自动提交offset十分简单便利，但由于其是基于时间提交的，开发人员难以把握offset提交的时机。因此Kafka还提供了手动提交offset的API。手动提交offset的方法有两种:分别是commitSync(同步提交)和commitAsync(异步提交)。两者的相同点是，都会将本次提交阅读全文

posted @ 2022-03-17 17:48 郭慕荣阅读(1504) 评论(0) 推荐(0) 编辑

Kafka自动提交 offset

摘要：总结：阅读全文

posted @ 2022-03-17 17:43 郭慕荣阅读(69) 评论(0) 推荐(0) 编辑

kafka的offset 位移

摘要： __consumer_offsets 主题里面采用 key 和 value 的方式存储数据。key 是 group.id+topic+ 分区号，value 就是当前 offset 的值。每隔一段时间，kafka 内部会对这个 topic 进行 compact，也就是每个 group.id+topic 阅读全文

posted @ 2022-03-17 17:02 郭慕荣阅读(80) 评论(0) 推荐(0) 编辑

郭慕荣博客园

公告