随笔分类 -  kafka

数据同步机制
摘要：1.基本概念 副本角色： 1.leader副本：响应clients端读写请求的副本 2.follower副本：被动的备份leader副本中的数据，不能响应clients端读写请求 ISR副本：包含了leader副本和所有与leader副本保持同步的follower副本 LEO： log end of 阅读全文
posted @ 2022-02-12 00:13 ZT丶 阅读(265) 评论(0) 推荐(0) 编辑
springboot集成kafka
摘要：1.前置配置 pom <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> </properties> <parent> <grou 阅读全文
posted @ 2022-02-04 00:18 ZT丶 阅读(263) 评论(0) 推荐(0) 编辑
kafka-eagle
摘要：参考链接 http://www.kafka-eagle.org/articles/docs/documentation.html https://www.cnblogs.com/smartloli/p/9371904.html 阅读全文
posted @ 2022-02-03 21:18 ZT丶 阅读(14) 评论(0) 推荐(0) 编辑
高级API
摘要：1.offset自动控制 kafka消费者的默认首次消费策略为latest 可以通过auto.offset.reset进行配置，这个配置只针对消费者之前没有提交偏移量到kafka服务器上也就是第一次消费的时候的行为，如果系统有消费者偏移量的话那么这个配置的不同值后续操作是一样的 earliest - 阅读全文
posted @ 2022-02-02 23:32 ZT丶 阅读(32) 评论(0) 推荐(0) 编辑
基础API
摘要：1.引入相关配置 pom <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.2.0</version> </dependency> <dependenc 阅读全文
posted @ 2022-02-02 15:13 ZT丶 阅读(33) 评论(0) 推荐(0) 编辑
安装kafka
摘要：1.前置条件 JDK1.8+ 配置主机名和IP映射 2.ZK安装 单机 1.安装目录：/usr/local/zookeeper 2.apache-zookeeper-3.6.3-bin.tar.gz上传到指定目录并解压 3.复制配置文件 cp zoo_sample.cfg zoo.cfg 4.配置文 阅读全文
posted @ 2022-02-02 14:33 ZT丶 阅读(41) 评论(0) 推荐(0) 编辑
kafka高性能之道
摘要：1.概述 Kafka的特性之一就是高吞吐率，但是Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，但是Kafka即使是运行在普通的服务器上，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应用。 阅读全文
posted @ 2022-01-27 23:18 ZT丶 阅读(166) 评论(0) 推荐(0) 编辑
kafka基础架构
摘要：1.基础概念 Kafka集群以Topic形式来管理Record，每一个Record属于一个Topic。每个Topic底层都会对应一组分区日志文件，用于持久化Topic中的Record。同时在Kafka集群中，Topic的每一个日志的分区都一定会有1个Borker担当该分区的Leader，其他的Bro 阅读全文
posted @ 2022-01-27 23:17 ZT丶 阅读(95) 评论(0) 推荐(0) 编辑
初识kafka
摘要：1.kafka简介 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以收集并处理用户在网站中的所有动作流数据以及物联网设备的采样信息。 2.什么是消息队列 消息队列是一种在分布式和大数据开发中不可或缺的中 阅读全文
posted @ 2022-01-27 23:15 ZT丶 阅读(42) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
主题色彩