11 2022 档案
摘要:Kafka 生产者Producer 整体架构 从上面的架构图可以看出,生产的流程主要就是一个producer线程和一个sender线程,它们之间通过BatchQueue来获取数据,它们的关系是一一对应的,所以kafka的生产过程都是异步过程。 它的同步和异步指的是接收响应结果的模式是同步阻塞还是异步
阅读全文
摘要:Kafka 控制器Controller Broker 在启动时,会尝试去 ZooKeeper 中创建 /controller 节点。Kafka 当前选举控制器的规则是:第一个成功创建 /controller 节点的 Broker 会被指定为控制器。 Controller Broker的主要职责有很多
阅读全文
摘要:free 命令常用参数 free 命令用来查看内存使用状况,常用参数如下: -h human-readable 格式打印 -w 把 cache & buffer 分开打印 -t show total for RAM + swap free 结果指标剖析 centos6中,cache,buffers是
阅读全文
摘要:零拷贝是网络编程的关键, 很多性能优化都离不开 数据角度分析 : 在零拷贝机制中 , 整个数据在内存中只有一份数据 , 非零拷贝机制中 , 内核缓冲区 , 用户缓冲区 , Socket 缓冲区 , 各有一份数据 ; 零拷贝指的是没有 CPU 拷贝 , 都是 DMA ( 直接内存访问 ) 拷贝 ; 零
阅读全文
摘要:什么是分区再均衡 分区的所有权从一个消费者转移到另一个消费者,这样的行为被称为分区再均衡(Rebalance)。Rebalance 实现了消费者群组的高可用性和伸缩性。 Rebalance 本质上是一种协议,规定了一个 Consumer Group 下的所有 Consumer 如何达成一致,来分配订
阅读全文
摘要:日志存储结构 Kafka存储结构图: kafka 中消息是以主题 topic 为基本单位进行归类的,这里的 topic 是逻辑上的概念,实际上在磁盘存储是根据分区存储的,每个主题可以分为多个分区、分区的数量可以在主题创建的时候进行指定。例如下面 kafka 命令创建了一个 topic 为 test
阅读全文
摘要:Producer: block.on.buffer.full = true 尽管该参数在0.9.0.0已经被标记为“deprecated”,但鉴于它的含义非常直观,所以这里还是显式设置它为true,使得producer将一直等待缓冲区直至其变为可用。否则如果producer生产速度过快耗尽了缓冲区,
阅读全文
摘要:延时队列 在发送延时消息的时候并不是先投递到要发送的真实主题(real_topic)中,而是先投递到一些 Kafka 内部的主题(delay_topic)中,这些内部主题对用户不可见, 然后通过一个自定义的服务拉取这些内部主题中的消息,并将满足条件的消息再投递到要发送的真实的主题中,消费者所订阅的还
阅读全文
摘要:Kafka 分区分配策略 生产者发送消息分区分配策略 kafka 里的 partitioner (分区器)来负责客户端生产层面的负载均衡。 如果指定分区,就直接使用该分区。 未指定分区但存在key,则根据序列化key使用murmur2哈希算法对分区数取模 如果不存在分区或key,则会使用粘性分区策略
阅读全文
摘要:Kafka 相关配置参数 生产者配置参数: acks:指定了必须有多少个分区副本收到消息,生产者才会认为消息写入是成功的。默认为acks=1 acks=0 如果设置为 0,则 Producer 不会等待服务器的反馈。该消息会被立刻添加到 socket buffer 中并认为已经发送完成。在这种情况下
阅读全文
摘要:Kafka副本备份机制(LEO,HW,leader epoch) Kafka 0.11版本之前水印副本备份机制 步骤: 初始leader,follower参数都为0,其中leader中的remote LEO记录的是follower的LEO 生产者发送消息m1到leader中,更新leader的LEO
阅读全文
摘要:华硕B460i主板内存调参 概况 使用的主板是b460i,cpu是10900es,内存条是芝奇的3200(c16-18-18-38) 调频2933 开始加载不能使用2933,理论上10900es的频率最高是2933,但是调了好久只能到2400 后来查网上信息,需要设置一个内存SA电压 CPU Sys
阅读全文
摘要:Kafka 问题收集 Kafka关键字名词 ISR 所有与leader副本保持一定程度同步的副本(包括leader副本在内)组成 ISR (In Sync Replicas)。 ISR 集合是 AR 集合的一个子集。 AR 分区中的所有副本统称为 AR (Assigned Replicas) OSR
阅读全文