随笔分类 - kafka
1
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 前言 我们在前面几个文章，知道了 kafka 的生产者 / 消费者的基本原理，这里就让我们来思考一些常见的生产问题，例如标题中的那些。在讨论
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 前言 这一篇我们主要梳理下 kafka 的消费者客户端的整体架构。所谓架构整体架构呢，也就是 consumer 的核心链路设计，即：初始化、
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 前言 上一篇中，我们讲了 kafka-java-producer 的架构原理，整体图如下：在了解了架构原理以及相关参数的作用之后，我们来思考
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 什么是生产者的？ 生产者的概念其实非常简单，一句话概括就是：负责生产消息发送到 kafka 的服务端。但是为什么要单独拎出来放在最前面呢？因
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 一、概述 首先，我们需要说明下，什么是元数据？我所理解的元数据其实就是分布式系统中各个组件组成集群后，所需要共享的数据。换言之，既然我们每个
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 一、概述 我们知道，在 2.8 版本之前，kafka 都是强依赖于 zk 的；哪怕是目前的 2.8 版本去 zk 也只是试用功能，官方也不推
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 一、概述 在对 kafka 有了基础的认知之后，回过头来看看，当前 kafka 的 存储架构 还存在哪些问题呢？很多地方有提到 kafka
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 一、概述 对于消息中间件来说，负载均衡是非常重要的，不能说我部署了 10 台机器，结果就 2 台忙的要死而其余 8 台都非常空闲，所以通常都
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 一、前言 可能有些朋友发现之前空缺了第六节，是因为之前写了没来得及完善就一直搁置了，因此在这儿后续补上。 二、概述 我们了解 ISR 列表是
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 写在前面 在我们基本了解了 kafka 服务端的各个角色以及一些机制之后，在这一小节对 kafka 一些特性进行总结。 一、各个特性基础总结
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 一、kafka 服务端大概有哪些延时任务？ 首先，我们需要了解一下 kafka 中大概有哪些需要延时的任务，该怎么查看呢？很简单，kafka
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 【概述】 在 kafka 集群中，还存在一个角色：Controller 这个角色和 kafka 集群中的各个 broker 是什么关系呢？其
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 【概述】 KAFKA 并没有使用现有的网络框架比如 Netty 去作为自己通信的底座，而是基于 NIO 自行研发了一套适合 KAFKA 自身
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 一、为什么会出现粘包拆包现象？ 我们知道，TCP 数据包都是按照协议进行拆包、编号然后分批发送的；那么对应我们应用层有意义的数据包，传输层的
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 【概述】 上一节我们知道 ISR 的基本概念，以及为何要设计 ISR 机制；这一节会快速复习一些概念，然后深入到 ISR 的伸缩机制。 【基
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 【概述】 上一章我们讲了 Replica 存在的意义是为了解决数据高可靠和服务高可用问题，kafka 中跟 Replica 跟 ISR 的关
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 【概述】 从第二章我们知道 replica 的本质是对分区数据的一个冗余，那么为什么 KAFKA 中要设计这个数据冗余呢？咱们一点一点来看。
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 【概述】 从第二章我们知道 replica 的本质是对分区数据的一个冗余，那么为什么 KAFKA 中要设计这个数据冗余呢？咱们一点一点来看。
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助。 【生产 / 消费者模型】 从上一节，我们知道消息中间件是由生产 / 消费者模型独立演化出来的，将对应的内存队列单独抽取成一个服务进行部署，以应对各个进程之间的需求。 之后，我们的重点会
阅读全文
摘要：大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于KAFKA的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 一、写在前面 本来是打算写到消费者模块的时候再详细看一下和写一下rebalance过程，但是前阵子遇到的rebalance的问题比较多，发现自己
阅读全文
1
