文章分类 - kafka
摘要：构建一个三台 Kafka 集群的分布式发布/订阅系统，涉及到配置、启动和管理多个 Kafka Broker 和 ZooKeeper 实例。以下是一个详细的指南，帮助你在三台服务器（或虚拟机）上设置并运行一个高可用的 Kafka 集群。 环境准备 假设你有三台服务器，IP 地址分别为： Broker
阅读全文
摘要：在一台 macOS 系统上配置并启动三个 ZooKeeper 和 Kafka 实例来模拟集群环境是可行的，但需要确保每个实例使用不同的端口和数据目录。以下是详细的步骤，帮助你在同一台 macOS 系统上配置和启动三台 ZooKeeper 和 Kafka 实例。 前提条件 Homebrew：确保你已经
阅读全文
摘要：kafka producer生产数据到kafka异常：Got error produce response with correlation id 16 on topic-partition...Error: NETWORK_EXCEPTION 1.问题描述 2017-09-13 15:11:30.
阅读全文
摘要：https://lesscode.work/sections/51790404d5fd374ca335ad18eaeeea08.html
阅读全文
摘要：几种不同的注册方式 subscribe方式：当主题分区数量变化或者consumer数量变化时，会进行rebalance；注册rebalance监听器，可以手动管理offset不注册监听器，kafka自动管理assign方式：手动将consumer与partition进行对应，kafka不会进行reb
阅读全文
摘要：问题一：用kafka命令发送消息时候，一直报WARN Error while fetching metadata with correlation id 0 : {test=UNKNOWN_TOPIC_OR_PARTITION}？ 原因：由于主题没创建导致的，生成是禁止自动创建的。 原文地址：htt
阅读全文
摘要：Kafka中的消费者有两套API，分别是high level的和low level的。两种消费方式在构造和实现上都是不同的，在此记录一下： 一、High level consumer API High Level Consumer API围绕着Consumer Group这个逻辑概念展开，它屏蔽了每
阅读全文
摘要：kafka 单独设置某个topic的数据过期时间 kafka 默认存放7天的临时数据，如果遇到磁盘空间小，存放数据量大，可以设置缩短这个时间。 全局设置 修改 server.properties log.retention.hours=72 log.cleanup.policy=delete 单独对
阅读全文
摘要：Topic在Kafka中是主题的意思，生产者将消息发送到主题，消费者再订阅相关的主题，并从主题上拉取消息。 在创建Topic的时候，有两个参数是需要填写的，那就是partions和replication-factor。 partions 主题分区数。kafka通过分区策略，将不同的分区分配在一个集群
阅读全文
摘要：Kafka-php－使用 PHP 编写的 Kafka 客户端 一. 首先确认下jdk有没有安装 使用命令 [root@localhost ~]# java -version java version "1.8.0_73" Java(TM) SE Runtime Environment (build
阅读全文
摘要：抽空把 PHP 在 Docker 中扩展安装清单整理一遍. # PHP 容器配置 # 从官方基础版本构建 FROM php:7.2-fpm # 官方版本默认安装扩展: # Core, ctype, curl # date, dom # fileinfo, filter, ftp # hash # i
阅读全文
摘要：1.https://kafka.apachecn.org/documentation.html 2. 选择上面里到https://github.com/arnaud-lb/php-rdkafka 3.选择：Documentation 4.kafka 经典使用：https://blog.csdn.ne
阅读全文