随笔分类 - 运维从入门到精通 / Kafka从入门到集群架构
发表于 2024-03-21 16:38阅读次数:7323评论次数:0
摘要:目录一、python 操作 kafka1. python 使用 kafka 生产者2. python 使用 kafka 消费者3. 使用 docker 中的 kafka二、python操作kafka细节2.1 生产者demo2.2 消费者demo2.3 消费者(消费者组)2.4 消费者(读取目前最早
阅读全文 »
发表于 2024-03-21 16:36阅读次数:375评论次数:0
摘要:目录一、Go操作之kafka二、sarama1. 下载及安装2. 注意事项三、连接使用kafka1. 发送消息2. 消费消息 一、Go操作之kafka Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,具有高性能、持久化、多副本备份、横向扩展等特点。本文
阅读全文 »
发表于 2024-03-21 16:27阅读次数:267评论次数:0
摘要:目录Kafka集群部署1.1 服务器资源1.1.1 安装JDK(所有设备)1.1.2 配置ip和主机名映射(所有服务器)(可不做)1.1.3 配置主机名(所有设备)(可不做)1.2 在node1上安装、配置kafka1.2.1 安装kafka1.2.2 修改配置文件1.2.2.1 修改zookeep
阅读全文 »
发表于 2024-03-21 11:40阅读次数:3099评论次数:0
摘要:目录安装、使用Kafka一、下载Kafka和相关依赖二、安装和配置Kafka2.1 安装Kafka2.2 Kafka的配置2.2.1 kafka服务配置server.properties2.2.2 消费者配置consumer.properites2.2.3 生产者配置producer.propert
阅读全文 »
发表于 2024-03-21 11:39阅读次数:199评论次数:0
摘要:目录为什么要用Kafka一、kafka介绍1.1 基本概念和四大核心API1.1.1 基本概念1.1.2 核心API1.2 使用场景1.3 kafka生产者1.4 kafka消费者1.4.1 kafka的消费模式(1)At-most-once(最多一次)(2)At-least-once(最少一次)(
阅读全文 »