Kafka学习之Kafka选举机制简述
摘要：Kafka是一个高性能，高容错，多副本，可复制的分布式消息系统。在整个系统中，涉及到多处选举机制，被不少人搞混，这里总结一下，本篇文章大概会从三个方面来讲解。 控制器（Broker）选主 分区多副本选主 消费组选主 1、控制器（Broker）选举 所谓控制器就是一个Borker，在一个kafka集群
阅读全文
posted @
2020-10-24 19:21
kosamino
阅读(5722)
推荐(1) 编辑
Kafka学习之内核原理剖析
摘要：一、Producer原理分析 1、Producer运行流程 整个生产者客户端由两个线程协调运行，这两个线程分别为主线程和 Sender 线程 (发送线程)。在主线程中由 KafkaProducer 创建消息，然后通过可能的拦截器、序列化器和分区器的作用之后缓存到消息累加器( RecordAccumu
阅读全文
posted @
2020-10-22 21:29
kosamino
阅读(813)
推荐(0) 编辑
Kafka学习之配置文件详解
摘要：kafka的配置文件包含server.properties、proceducer.properties、consumer.properties, 分别为 broker、producer、consumer三个不同的配置。 一、Broker配置 最为核心的三个配置 broker.id、log.dir、z
阅读全文
posted @
2020-10-16 17:50
kosamino
阅读(3953)
推荐(1) 编辑
Kafka学习之基本概念及集群部署
摘要：一、kafka简介 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的(partition)、多副本的(replica)， 基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求 场景:比如基于hadoop的批处理系统、低延迟的实时系统、
阅读全文
posted @
2020-10-16 02:27
kosamino
阅读(464)
推荐(1) 编辑
