随笔分类 -  MQ

Apache zookeeper kafka 开启SASL安全认证_kafka开启认证
摘要：自0.9.0.0版本开始Kafka社区添加了许多功能用于提高Kafka集群的安全性，Kafka提供SSL或者SASL两种安全策略。SSL方式主要是通过CA令牌实现，此方案主要介绍SASL方式。 Kafka 的安全机制 kafka 社区在 0.9.0.0 版本正式添加了安全特性，可以满足各种安全性的要 阅读全文
posted @ 2024-09-04 10:46 fengjian1585 阅读(301) 评论(0) 推荐(0) 编辑
监控rocketmq 常用方法
摘要：一、mqcloud（https://github.com/sohutv/mqcloud/） sohu出的集客户端SDK，运维，监控，预警等功能的RocketMQ企业级一站式服务平台 使用java开发，功能比较多，对集群数量较多的环境支持比较好 二、RocketmqExporter（https://g 阅读全文
posted @ 2022-02-11 14:28 fengjian1585 阅读(1072) 评论(0) 推荐(0) 编辑
rocketmq systemctl 启动
摘要：namesrv systemctl cat /lib/systemd/system/rocketmqnamesrv.service [Unit] Description=rocketmq - nameserver Documentation=http://mirror.bit.edu.cn/apac 阅读全文
posted @ 2020-11-03 10:16 fengjian1585 阅读(705) 评论(0) 推荐(0) 编辑
如何为Kafka集群选择合适的Topics/Partitions数量
摘要：这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。 越多的分区可以提供更高的吞吐量 首先我们需要明白以下事实：在kafka中，单个patition是kafka并行操作的最小单元。在producer和broker端，向每一个分区写入 阅读全文
posted @ 2020-09-15 09:35 fengjian1585 阅读(215) 评论(0) 推荐(0) 编辑
Kafka运维大全来了！优化、监控、故障处理
摘要：Kafka运维大全来了！优化、监控、故障处理…… Kafka概念 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的、可划分的、冗余备份的、持久性的日志服务。它主要用于处理活跃的流式数据。分布式系统，易于向外扩展。所有的 阅读全文
posted @ 2019-10-25 14:33 fengjian1585 阅读(1651) 评论(0) 推荐(0) 编辑
kafka学习
摘要：1. 为何需要消息服务2. 消息中间件的发展历史3. 业界对比4. 基本概念介绍5. 操作实战基于消息中间件构建消息服务，解决云分布式场景的消息通信问题，提供高可靠，高性能（高并发，高吞吐)，高扩展的消息管道 优点： 1.系统解耦， 基于发布订阅模型，分布式应用异步解构，可以增加应用的水平扩展性，增 阅读全文
posted @ 2019-08-26 14:46 fengjian1585 阅读(290) 评论(0) 推荐(0) 编辑
Kafka史上最详细原理总结
摘要：Kafka的特性: 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 可扩展性：kafka集群支持热扩展 持久性、可靠性：消息被持久化到本地磁盘，并且 阅读全文
posted @ 2019-05-30 15:54 fengjian1585 阅读(2225) 评论(0) 推荐(0) 编辑
kafka libjvm 报错
摘要：kafka集群 kafka-0 出现报错信息 通过 zk查询状态 kafka-0 没有了， 删除 kafka-0 pod， ## 打算更换jdk版本，测试一下效果 阅读全文
posted @ 2019-03-26 11:19 fengjian1585 阅读(307) 评论(0) 推荐(0) 编辑
kafka TimeoutException 超时问题解决
摘要：1、报错：: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that 阅读全文
posted @ 2019-01-28 09:37 fengjian1585 阅读(9516) 评论(0) 推荐(0) 编辑
rocketmq 多master集群部署
摘要：rocketmq 并且编译下载 wget http://mirror.bit.edu.cn/apache/rocketmq/4.3.2/rocketmq-all-4.3.2-source-release.zip unzip rocketmq-all-4.3.2-source-release.zip 阅读全文
posted @ 2018-12-20 16:56 fengjian1585 阅读(1804) 评论(0) 推荐(0) 编辑
RocketMQ集群部署记录
摘要：RocketMQ集群部署记录 #引用 https://cloud.tencent.com/developer/article/1147765 一、RocketMQ基础知识介绍 Apache RocketMQ是阿里开源的一款高性能、高吞吐量、队列模型的消息中间件的分布式消息中间件。RocketMQ具有 阅读全文
posted @ 2018-12-07 16:03 fengjian1585 阅读(423) 评论(0) 推荐(0) 编辑
Kafka_2.10-0.10.0.0集群安装与配置
只有注册用户登录后才能阅读该文。
posted @ 2016-07-08 17:56 fengjian1585 阅读(467) 评论(0) 推荐(0) 编辑