随笔分类 -  Kafka

Kafka设计解析(八)- Exactly Once语义与事务机制原理
摘要:本文介绍了Kafka实现事务性的几个阶段——正好一次语义与原子操作。之后详细分析了Kafka事务机制的实现原理,并介绍了Kafka如何处理事务相关的异常情况,如Transaction Coordinator宕机。最后介绍了Kafka的事务机制与PostgreSQL的MVCC以及Zookeeper的原子广播实现事务的异同 阅读全文

posted @ 2017-11-28 21:56 郭俊Jason 阅读(10578) 评论(0) 推荐(2) 编辑

流式处理的新贵 Kafka Stream - Kafka设计解析(七)
摘要:本文介绍了Kafka Stream的背景,如Kafka Stream是什么,什么是流式计算,以及为什么要有Kafka Stream。接着介绍了Kafka Stream的整体架构,并行模型,状态存储,以及主要的两种数据集KStream和KTable。并且分析了Kafka Stream如何解决流式系统中的关键问题,如时间定义,窗口操作,Join操作,聚合操作,以及如何处理乱序和提供容错能力。最后结合示例讲解了如何使用Kafka Stream。 阅读全文

posted @ 2017-11-28 08:11 郭俊Jason 阅读(6345) 评论(0) 推荐(1) 编辑

揭秘Kafka高性能架构之道 - Kafka设计解析(六)
摘要:本文从宏观架构层面和微观实现层面分析了Kafka如何实现高性能。包含Kafka如何利用Partition实现并行处理和提供水平扩展能力,如何通过ISR实现可用性和数据一致性的动态平衡,如何使用NIO和Linux的sendfile实现零拷贝以及如何通过顺序读写和数据压缩实现磁盘的高效利用。 阅读全文

posted @ 2017-04-25 06:44 郭俊Jason 阅读(5808) 评论(0) 推荐(4) 编辑

Kafka设计解析(四)- Kafka Consumer设计解析
摘要:本文主要介绍了Kafka High Level Consumer,Consumer Group,Consumer Rebalance,Low Level Consumer实现的语义,以及适用场景。以及未来版本中对High Level Consumer的重新设计--使用Consumer Coordinator解决Split Brain和Herd等问题。 阅读全文

posted @ 2016-04-12 21:12 郭俊Jason 阅读(1866) 评论(0) 推荐(3) 编辑

Kafka设计解析(三)- Kafka High Availability (下)
摘要:### **【原创声明】本文属作者原创,已授权InfoQ中文站首发,转载请务必在文章开头标明出自“Jason's Blog”,并附上原文链接[http://www.jasongj.com/2015/06/08/KafkaColumn3/](http://www.jasongj.com/2015/06... 阅读全文

posted @ 2015-06-08 21:16 郭俊Jason 阅读(565) 评论(0) 推荐(1) 编辑

Kafka设计解析(二)- Kafka High Availability (上)
摘要:Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化,同时对于分布式系统来说,尤其当集群规模上升到一定程度后,一台或者多台机器宕机的可能性大大提高,对于Failover机制的需求非常高。因此,Kafka从0.8开始提供High Availability机制。本文从Data Replication和Leader Election两方面介绍了Kafka的HA机制。 阅读全文

posted @ 2015-04-26 12:12 郭俊Jason 阅读(1052) 评论(0) 推荐(3) 编辑

Kafka设计解析(一) Kafka背景及架构介绍
摘要:本文介绍了Kafka的创建背景,设计目标,使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构,Producer消息路由,Consumer Group以及由其实现的不同消息分发方式,Topic & Partition,最后介绍了Kafka Consumer为何使用pull模式以及Kafka提供的三种delivery guarantee。 阅读全文

posted @ 2015-03-29 17:55 郭俊Jason 阅读(2105) 评论(0) 推荐(0) 编辑

Kafka深度解析
摘要:介绍Kafka背景,使用消息系统的优势,常用消息系统对比,Kafka架构介绍,Kafka实现语义分析,Replication及Leader Election机制剖析,Consumer Group Rebalance实现原理介绍,以及Benchmark测试。 阅读全文

posted @ 2015-03-28 00:24 郭俊Jason 阅读(1323) 评论(0) 推荐(0) 编辑

导航