写出高级BUG

2018年8月25日

Kafka设计解析（十二）Kafka 如何读取offset topic内容 (__consumer_offsets)

摘要：转载自 huxihx，原文链接 Kafka 如何读取offset topic内容 (__consumer_offsets) 众所周知，由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_off 阅读全文

posted @ 2018-08-25 23:00 写出高级BUG 阅读(1393) 评论(0) 推荐(0) 编辑

Kafka设计解析（十一）Kafka无消息丢失配置

摘要：转载自 huxihx，原文链接 Kafka无消息丢失配置目录一、Producer端二、Consumer端 Kafka到底会不会丢数据(data loss)? 通常不会，但有些情况下的确有可能会发生。下面的参数配置及Best practice列表可以较好地保证数据的持久性(当然是trade-off 阅读全文

posted @ 2018-08-25 15:31 写出高级BUG 阅读(486) 评论(0) 推荐(0) 编辑

Kafka设计解析（十）Kafka如何创建topic

摘要：转载自 huxihx，原文链接 Kafka如何创建topic？目录一、命令行部分二、后台逻辑部分 Kafka创建topic命令很简单，一条命令足矣：这条命令会创建一个名为test的topic，有3个分区，每个分区需分配3个副本。那么在这条命令之后Kafka又做了什么事情呢？本文将对此进行一下阅读全文

posted @ 2018-08-25 15:12 写出高级BUG 阅读(4250) 评论(0) 推荐(0) 编辑

Kafka设计解析（九）为何去掉replica.lag.max.messages参数

摘要：转载自 huxihx，原文链接 Kafka副本管理—— 为何去掉replica.lag.max.messages参数在Kafka设计解析（二）Kafka High Availability （上）文中的ACK前需要保证有多少个备份小节说到，如果一个Follower宕机，或者落后太多，Leader将阅读全文

posted @ 2018-08-25 14:18 写出高级BUG 阅读(741) 评论(0) 推荐(0) 编辑

2018年8月23日

Kafka设计解析（八）Exactly Once语义与事务机制原理

摘要：转载自技术世界，原文链接 Kafka设计解析（八）- Exactly Once语义与事务机制原理本文介绍了Kafka实现事务性的几个阶段——正好一次语义与原子操作。之后详细分析了Kafka事务机制的实现原理，并介绍了Kafka如何处理事务相关的异常情况，如Transaction Coordina 阅读全文

posted @ 2018-08-23 23:36 写出高级BUG 阅读(822) 评论(0) 推荐(0) 编辑

Kafka设计解析（七）Kafka Stream

摘要：转载自技术世界，原文链接 Kafka设计解析（七）- Kafka Stream 本文介绍了Kafka Stream的背景，如Kafka Stream是什么，什么是流式计算，以及为什么要有Kafka Stream。接着介绍了Kafka Stream的整体架构，并行模型，状态存储，以及主要的两种数据集阅读全文

posted @ 2018-08-23 01:40 写出高级BUG 阅读(21669) 评论(0) 推荐(1) 编辑

2018年8月22日

Kafka设计解析（六）Kafka高性能架构之道

摘要：转载自技术世界，原文链接 Kafka设计解析（六）- Kafka高性能架构之道本文从宏观架构层面和微观实现层面分析了Kafka如何实现高性能。包含Kafka如何利用Partition实现并行处理和提供水平扩展能力，如何通过ISR实现可用性和数据一致性的动态平衡，如何使用NIO和Linux的sen 阅读全文

posted @ 2018-08-22 23:30 写出高级BUG 阅读(1403) 评论(0) 推荐(0) 编辑

Kafka设计解析（五）Kafka性能测试方法及Benchmark报告

摘要：转载自技术世界，原文链接 Kafka设计解析（五）- Kafka性能测试方法及Benchmark报告摘要本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能，以及如何使用Kafka Manager监控Kafka的工作状态，最后给出了Kafka的性能阅读全文

posted @ 2018-08-22 22:23 写出高级BUG 阅读(809) 评论(0) 推荐(0) 编辑

2018年8月19日

Kafka设计解析（四）Kafka Consumer设计解析

摘要：转载自技术世界，原文链接 Kafka设计解析（四）- Kafka Consumer设计解析目录一、High Level Consumer 1. Consumer Group 2. High Level Consumer Rebalance 三、Low Level Consumer 四、Cons 阅读全文

posted @ 2018-08-19 21:27 写出高级BUG 阅读(1122) 评论(0) 推荐(0) 编辑

Kafka设计解析（三）Kafka High Availability （下）

摘要：转载自技术世界，原文链接 Kafka设计解析（三）- Kafka High Availability （下）摘要本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，阅读全文

posted @ 2018-08-19 11:45 写出高级BUG 阅读(712) 评论(0) 推荐(0) 编辑

公告