随笔分类 - kafka
摘要：在 Filebeat、Logstash、Kafka 和 Elasticsearch(ES) 之间构建数据流管道时，它们的协同工作可以帮助你实现高效的日志收集、处理和存储。 1、详细说明 下面是如何将这四个组件连接在一起的详细说明 1.1 架构概览 Filebeat：轻量级日志收集器，主要负责从各个服
阅读全文
摘要：1、简介 Kafka是一个能够支持高并发以及流式消息处理的消息中间件，并且Kafka天生就是支持集群的，今天就主要来介绍一下如何搭建Kafka集群。 Kafka目前支持使用Zookeeper模式搭建集群以及KRaft模式（即无Zookeeper）模式这两种模式搭建集群，这两种模式各有各的好处，今天就
阅读全文
摘要：001、Kafka简介 Apache Kafka最早是由Linkedin公司开发，后来捐献给了Apack基金会。 Kafka被官方定义为分布式流式处理平台，因为具备高吞吐、可持久化、可水平扩展等特性而被广泛使用。目前Kafka具体如下功能： 消息队列,Kafka具有系统解耦、流量削峰、缓冲、异步通信
阅读全文
摘要：001、kafka简介 kafka消息队列有两种消费模式，分别是点对点模式和订阅/发布模式。具体比较可以参考Kafka基础–消息队列与消费模式。 下图是一个点对点的Kafka结构示意图 producer：消息生产者 Topic：消息主题 partition：主题内分区 Brokers：消息服务器 c
阅读全文
摘要：001、kafka版本 kafka_2.13-3.0.0 kafka_2.12-2.8.0 002、模拟给topic名称是 yikuang 的发一条数据(hello world) ./kafka-console-producer.sh --broker-list IP:9092 --topic yi
阅读全文
