随笔分类 - kafka
摘要:# kafka部署 本示例中采用最新的kafka kraft模式,优点在于不再依赖 zookeeper 集群,部署维护更加方便。用三台 controller 节点代替zookeeper,元数据保存在 controller 中,由 controller 直接进行 Kafka 集群管理。 三台主机hos
阅读全文
摘要:转载自:https://www.qikqiak.com/post/deploy-kafka-ha-on-k8s/ Apache Kafka 是目前最流行的分布式消息发布订阅系统,虽然 Kafka 非常强大,但它同样复杂,需要一个高可用的强大平台来运行。在微服务盛行,大多数公司都采用分布式计算的今天,
阅读全文
摘要:安装 # 拉取镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka # 启动zookeeper容器(Zookeeper用于崩溃检测,实现Topic发现,和维护Topic的生产和消费状态) docker run -t
阅读全文
摘要:环境版本 操作系统:CentOS release 6.6 (Final) java版本: jdk1.8 kafka 版本: kafka_2.11-1.1.1.tgz 安装kafka 1. 下载压缩包, 复制到固定目录并解压 到官网下载压缩包 wget https://www.apache.org/d
阅读全文
摘要:基本概念 采用伪集群的方式部署Kafka集群 后台启动内置的zookeeper 关闭zookeeper 开启kafk集群(伪集群),shell脚本 关闭kafk集群(伪集群),shell脚本 查看当前服务器中的所有 topic 创建 topic 删除 topic(需要 server.properti
阅读全文
摘要:1. 实验环境 CPU:4 内存:8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java =1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 2. MySQL信息 mysql账号 root MySQL密码 liykpntuu9?C
阅读全文
摘要:使用python操作kafka目前比较常用的库是kafka python库 安装kafka python 生产者 producer_test.py 执行此程序,它没有输出!这个是正常的 消费者 执行此程序,此时会hold住,因为它在等待生产者发送消息! 再次执行生产者,此时会输出:
阅读全文
摘要:```bash # 监控kafka集群,开启监控趋势图使用 # 有一个问题,需要在kafka-server-start.sh文件中配置端口,有如下三种办法 # 第一种:复制并修改kafka目录,比如kafka-1,kafka-2,kafka-3,然后再每个目录下修改kafka-server-start.sh文件 # 第二种:在启动脚本start.sh中添加指定端口 # 第三种:多复制几个kafka
阅读全文
摘要:```bash
# kafka集群,伪集群
cd /usr/local/src
wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz
tar -zxv -f kafka_2.12-2.3.0.tgz -C /usr/local/
cd /usr/local/kafka_2.12-2.3.0/...
阅读全文
摘要:之前的流程是:filebeat,redis,logstash,elasticsearch 现在的流程是:filebeat,Kafka(zookeeper),logstash,elasticsearch zookeeper集群,使用ZK UI提供的web界面 kafka集群,使用的是kafka eag
阅读全文
摘要:1. 实验环境 CPU:4 内存:8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java =1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 2. MySQL信息 mysql账号 root MySQL密码 liykpntuu9?C
阅读全文
摘要:```
# 监控kafka集群
# 有一个问题,需要在kafka-server-start.sh文件中配置端口,有如下三种办法
# 第一种:复制并修改kafka目录,比如kafka-1,kafka-2,kafka-3,然后再每个目录下修改kafka-server-start.sh文件
# 第二种:在启动脚本start.sh中添加指定端口
# 第三种:多复制几个kafka-server-start....
阅读全文
摘要:jmx端口主要用来监控kafka集群的。 在启动kafka的脚本kafka server start.sh中找到堆设置 或者在启动脚本中添加如下:
阅读全文