随笔分类 - Kafka

Kafka副本机制

摘要：1 副本机制的定义：所谓副本机制（Replication），也可以称之为备份机制，通常是指分布式在多台网络互连的机器上保存有相同的数据拷贝。 2 副本机制的好处：提供数据冗余。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及数据持久性。提供高伸缩性。支持横向扩展，能够通过增加阅读全文

posted @ 2023-06-12 12:50 wushaoyu 阅读(128) 评论(0) 推荐(0) 编辑

消费者组重平衡全流程及状态机解析

摘要：一、重平衡流程介绍消费者组重平衡的作用就是让消费者组达成一致，完成消费者与哪些主题分区达成一致。重平衡需要借助Kafka broker端的协调者组件，在coordinator的帮助下完成整个消费者分组的分区重分配。触发与通知重平衡触发的3个条件消费者组的成员数量变化消费者组的主题数量发生变阅读全文

posted @ 2023-06-12 12:48 wushaoyu 阅读(87) 评论(0) 推荐(0) 编辑

kafka加密后命令行操作kafka

摘要：kafka加密后命令行操作kafka kafka安装时使用加密安装时，命令行操作kakfa进行topic创建，偏移量查看，消费者消费状况查询都需要使用到改密码，此处作为记录，便于后续查询使用。 1、创建文件，存放kafka加密算法及密码信息 cd ${kafka_home}/ && mkdir cm 阅读全文

posted @ 2022-08-15 16:51 wushaoyu 阅读(858) 评论(0) 推荐(0) 编辑

RocketMQ常用命令

摘要：RocketMQ常用命令 1、启动nameserver cd /usr/local/rocketmq-all-4.9.0-bin-release nohup ./bin/mqnamesrv > ./mqnamesrv.log 2>&1 & 2、启动broker nohup sh bin/mqbrok 阅读全文

posted @ 2021-09-08 21:14 wushaoyu 阅读(2675) 评论(0) 推荐(0) 编辑

Kafka常用命令

摘要：Kafka常用命令日常进程kafka运维操作时，除了借助kafka-manager图形工具查看kafka信息时，我们还可以通过kafka提供的命令工具来进行kafka的操作与查看。 1、查看所有topic ./kafka-topics.sh --zookeeper=10.111.30.3:2181 阅读全文

posted @ 2021-08-22 22:12 wushaoyu 阅读(1982) 评论(0) 推荐(0) 编辑

Kafka集群部署

摘要：Kafka介绍官网：http://kafka.apache.org Kafka是一款性能非常好的并且支持分布式的消息队列中间件。由于它的高吞吐特性，Kafka通常使用在大数据领域，如日志收集平台。其实Kafka是一个流处理平台，这个概念不太好理解，之所以叫做流，是因为它在工作中就像是一个可以支撑高阅读全文

posted @ 2019-07-21 11:49 wushaoyu 阅读(3782) 评论(0) 推荐(0) 编辑