随笔分类 -  kafka

摘要:# kafka部署 本示例中采用最新的kafka kraft模式,优点在于不再依赖 zookeeper 集群,部署维护更加方便。用三台 controller 节点代替zookeeper,元数据保存在 controller 中,由 controller 直接进行 Kafka 集群管理。 三台主机hos 阅读全文
posted @ 2023-08-07 14:58 哈喽哈喽111111 阅读(1418) 评论(0) 推荐(0) 编辑
摘要:转载自:https://www.qikqiak.com/post/deploy-kafka-ha-on-k8s/ Apache Kafka 是目前最流行的分布式消息发布订阅系统,虽然 Kafka 非常强大,但它同样复杂,需要一个高可用的强大平台来运行。在微服务盛行,大多数公司都采用分布式计算的今天, 阅读全文
posted @ 2022-06-17 15:32 哈喽哈喽111111 阅读(404) 评论(0) 推荐(0) 编辑
摘要:安装 # 拉取镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka # 启动zookeeper容器(Zookeeper用于崩溃检测,实现Topic发现,和维护Topic的生产和消费状态) docker run -t 阅读全文
posted @ 2020-11-05 17:35 哈喽哈喽111111 阅读(361) 评论(0) 推荐(0) 编辑
摘要:环境版本 操作系统:CentOS release 6.6 (Final) java版本: jdk1.8 kafka 版本: kafka_2.11-1.1.1.tgz 安装kafka 1. 下载压缩包, 复制到固定目录并解压 到官网下载压缩包 wget https://www.apache.org/d 阅读全文
posted @ 2020-08-13 15:18 哈喽哈喽111111 阅读(229) 评论(0) 推荐(0) 编辑
摘要:基本概念 采用伪集群的方式部署Kafka集群 后台启动内置的zookeeper 关闭zookeeper 开启kafk集群(伪集群),shell脚本 关闭kafk集群(伪集群),shell脚本 查看当前服务器中的所有 topic 创建 topic 删除 topic(需要 server.properti 阅读全文
posted @ 2019-10-09 10:31 哈喽哈喽111111 阅读(491) 评论(1) 推荐(0) 编辑
摘要:1. 实验环境 CPU:4 内存:8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java =1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 2. MySQL信息 mysql账号 root MySQL密码 liykpntuu9?C 阅读全文
posted @ 2019-10-08 18:02 哈喽哈喽111111 阅读(2346) 评论(0) 推荐(0) 编辑
摘要:使用python操作kafka目前比较常用的库是kafka python库 安装kafka python 生产者 producer_test.py 执行此程序,它没有输出!这个是正常的 消费者 执行此程序,此时会hold住,因为它在等待生产者发送消息! 再次执行生产者,此时会输出: 阅读全文
posted @ 2019-09-24 16:46 哈喽哈喽111111 阅读(20365) 评论(0) 推荐(3) 编辑
摘要:```bash # 监控kafka集群,开启监控趋势图使用 # 有一个问题,需要在kafka-server-start.sh文件中配置端口,有如下三种办法 # 第一种:复制并修改kafka目录,比如kafka-1,kafka-2,kafka-3,然后再每个目录下修改kafka-server-start.sh文件 # 第二种:在启动脚本start.sh中添加指定端口 # 第三种:多复制几个kafka 阅读全文
posted @ 2019-09-23 18:19 哈喽哈喽111111 阅读(3079) 评论(0) 推荐(0) 编辑
摘要:```bash # kafka集群,伪集群 cd /usr/local/src wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz tar -zxv -f kafka_2.12-2.3.0.tgz -C /usr/local/ cd /usr/local/kafka_2.12-2.3.0/... 阅读全文
posted @ 2019-09-23 18:17 哈喽哈喽111111 阅读(273) 评论(0) 推荐(0) 编辑
摘要:之前的流程是:filebeat,redis,logstash,elasticsearch 现在的流程是:filebeat,Kafka(zookeeper),logstash,elasticsearch zookeeper集群,使用ZK UI提供的web界面 kafka集群,使用的是kafka eag 阅读全文
posted @ 2019-09-23 18:15 哈喽哈喽111111 阅读(994) 评论(0) 推荐(0) 编辑
摘要:1. 实验环境 CPU:4 内存:8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java =1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 2. MySQL信息 mysql账号 root MySQL密码 liykpntuu9?C 阅读全文
posted @ 2019-09-20 18:28 哈喽哈喽111111 阅读(5697) 评论(3) 推荐(0) 编辑
摘要:``` # 监控kafka集群 # 有一个问题,需要在kafka-server-start.sh文件中配置端口,有如下三种办法 # 第一种:复制并修改kafka目录,比如kafka-1,kafka-2,kafka-3,然后再每个目录下修改kafka-server-start.sh文件 # 第二种:在启动脚本start.sh中添加指定端口 # 第三种:多复制几个kafka-server-start.... 阅读全文
posted @ 2019-09-20 14:12 哈喽哈喽111111 阅读(932) 评论(0) 推荐(0) 编辑
摘要:jmx端口主要用来监控kafka集群的。 在启动kafka的脚本kafka server start.sh中找到堆设置 或者在启动脚本中添加如下: 阅读全文
posted @ 2019-09-20 14:11 哈喽哈喽111111 阅读(3233) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示