随笔分类 -  Kafka

Kafka架构，与其他组件集成
摘要：1 kafka架构进阶 1.1 Kafka底层数据的同步机制（面试常问） 1、Kafka的Topic被分为多个分区，分区是是按照Segments（文件段）存储文件块。分区日志是存储在磁盘上的日志序列，Kafka可以保证分区里的事件是有序的。其中Leader负责对应分区的读写、Follower负责同步 阅读全文
posted @ 2020-10-21 10:54 x1aoda1 阅读(445) 评论(0) 推荐(0) 编辑
Kafka高级API
摘要：1 Kafka高级API特性 1.1 Offset的自动控制 1.1.1 消费者offset初始策略 一般来说每个消费者消费之后,都会把自己消费到分区的位置（也就是offset提交给Kafka集群），但是对于没有消费过该分区的消费者，他之前并未提交给集群自身偏移量的信息。 Kafka消费者默认对于未 阅读全文
posted @ 2020-10-20 19:38 x1aoda1 阅读(636) 评论(1) 推荐(2) 编辑
Kafka环境搭建、Topic管理
摘要：一、Kafka环境搭建和Topic管理 1 单机环境搭建 1.1 环境准备 安装JDK1.8+，配置JAVA_HOME(CentOS 6.10+ 64bit) 配置主机名和IP映射 关闭防火墙&防火墙开机自启动 集群环境下需要配置每台机器，同步时钟 ntpdate cn.pool.ntp.org | 阅读全文
posted @ 2020-10-19 09:46 x1aoda1 阅读(484) 评论(0) 推荐(1) 编辑
Kafka初识
摘要：一、初识Kafka 1 apache kafka简介 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以收集并处理用户在网站中的所有动作流数据以及物联网设备的采样信息。 Apache Kafka是Apac 阅读全文
posted @ 2020-10-18 12:42 x1aoda1 阅读(363) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示