随笔分类 -  kafka

kafka学习系列
Kafka中的HW、LEO、LSO等分别代表什么?
摘要:HW 、 LEO 等概念和上一篇文章所说的 ISR有着紧密的关系,如果不了解 ISR 可以先看下ISR相关的介绍。 HW (High Watermark)俗称高水位,它标识了一个特定的消息偏移量(offset),消费者只能拉取到这个offset之前的消息。 下图表示一个日志文件,这个日志文件中只有9 阅读全文

posted @ 2021-06-06 14:26 wsw_seu 阅读(477) 评论(0) 推荐(0) 编辑

深入剖析Linux IO原理和几种零拷贝机制的实现(转)
摘要:作者:零壹技术栈链接:https://zhuanlan.zhihu.com/p/83398714来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 前言 零拷贝(Zero-copy)技术指在计算机执行操作时,CPU 不需要先将数据从一个内存区域复制到另一个内存区域,从而可 阅读全文

posted @ 2021-05-31 14:50 wsw_seu 阅读(112) 评论(0) 推荐(0) 编辑

kafka常见面试题
摘要:1.Kafka 中的 ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么? 1、AR = ISR+OSR ISR: kafka 使用多副本来保证消息不丢失,多副本就涉及到kafka的复制机制,在一个超大规模的集群中,时不时地这个点磁盘坏了,那个点c 阅读全文

posted @ 2020-08-09 12:49 wsw_seu 阅读(1190) 评论(1) 推荐(1) 编辑

KafkaProducer 发送消息流程
摘要:Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了 两个线程——main 线程和 Sender 线程,以及一个线程共享变量——RecordAccumulator。 main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 R 阅读全文

posted @ 2020-08-08 17:03 wsw_seu 阅读(1657) 评论(0) 推荐(1) 编辑

kafka事务
摘要:Kafka 从 0.11 版本开始引入了事务支持。事务可以保证 Kafka 在 Exactly Once 语义的基 础上,生产和消费可以跨分区和会话,要么全部成功,要么全部失败。 开启幂等性的 Producer 在 初始化的时候会被kafka集群分配一个 PID(Producer ID),发往同一 阅读全文

posted @ 2020-08-08 16:53 wsw_seu 阅读(377) 评论(0) 推荐(0) 编辑

kafka消费者offset存储策略
摘要:由于 consumer 在消费过程中可能会出现断电宕机等故障,consumer 恢复后,需要从故 障前的位置的继续消费,所以 consumer 需要实时记录自己消费到了哪个 offset,以便故障恢 复后继续消费。 Kafka 0.9 版本之前,consumer 默认将 offset 保存在 Zoo 阅读全文

posted @ 2020-08-08 15:54 wsw_seu 阅读(1589) 评论(0) 推荐(0) 编辑

Kafka 消费者及消费者分区策略
摘要:消费方式: consumer 采用 pull(拉)模式从 broker 中读取数据。 push(推)模式很难适应消费速率不同的消费者,因为消息发送速率是由 broker 决定的。 它的目标是尽可能以最快速度传递消息,但是这样很容易造成 consumer 来不及处理消息,典型的表现就是拒绝服务以及网络 阅读全文

posted @ 2020-08-05 23:07 wsw_seu 阅读(1710) 评论(0) 推荐(0) 编辑

Exactly Once 语义
摘要:将服务器的 ACK 级别设置为-1,可以保证 Producer 到 Server 之间不会丢失数据,即 At Least Once 语义。 相对的,将服务器 ACK 级别设置为 0,可以保证生产者每条消息只会被 发送一次,即 At Most Once 语义。 At Least Once 可以保证数据 阅读全文

posted @ 2020-08-03 22:45 wsw_seu 阅读(621) 评论(1) 推荐(0) 编辑

kafka数据一致性(HW只能保证副本之间的数据一致性,并不能保证数据不丢失ack或者不重复。)
摘要:数据一致性问题:消费一致性和存储一致性 例如:一个leader 写入 10条数据,2个follower(都在ISR中),F1、F2都有可能被选为Leader,例如选F2 .后面Leader又活了。可能造成每个副本数据不一致 F1 8条 F2 9条 LEO:每个副本的最后一个offset。例如 F1的 阅读全文

posted @ 2020-08-02 23:22 wsw_seu 阅读(727) 评论(0) 推荐(0) 编辑

kafak ack应答机制
摘要:ack 应答机制 对于某些不太重要的数据,对数据的可靠性要求不是很高,能够容忍数据的少量丢失, 所以没必要等 ISR 中的 follower 全部接收成功。 所以 Kafka 为用户提供了三种可靠性级别,用户根据对可靠性和延迟的要求进行权衡, 选择以下的配置。 acks 参数配置: acks: 0: 阅读全文

posted @ 2020-08-02 22:54 wsw_seu 阅读(688) 评论(0) 推荐(0) 编辑

kafka生产者数据可靠性保证
摘要:为保证 producer 发送的数据,能可靠的发送到指定的 topic,topic 的每个 partition 收到 producer 发送的数据后,都需要向 producer 发送 ack(acknowledgement 确认收到),如果 producer 收到 ack,就会进行下一轮的发送,否则 阅读全文

posted @ 2020-08-02 22:45 wsw_seu 阅读(381) 评论(0) 推荐(0) 编辑

Kafka 生产者分区策略
摘要:分区策略 1)分区的原因 (1)方便在集群中扩展,每个 Partition 可以通过调整以适应它所在的机器,而一个 topic 又可以有多个 Partition 组成,因此整个集群就可以适应任意大小的数据了; (2)可以提高并发,因为可以以 Partition 为单位读写了。 2)分区的原则 我们需 阅读全文

posted @ 2020-08-02 22:14 wsw_seu 阅读(1333) 评论(0) 推荐(0) 编辑

Kafka架构深入:Kafka 工作流程及文件存储机制
摘要:kafka工作流程: 每个分区都有一个offset消费偏移量,kafka并不能保证全局有序性。 Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic 的。(文件topic_partition命名) topic 是逻辑上的概念,而 partition 是 阅读全文

posted @ 2020-08-02 22:01 wsw_seu 阅读(222) 评论(0) 推荐(0) 编辑

kafka基本操作
摘要:kafka控制台基本简单操作 1)解压安装包 [atguigu@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/ 2)修改解压后的文件名称 3)在/opt/module/kafka 目录下创建 logs 文件 阅读全文

posted @ 2020-08-02 19:03 wsw_seu 阅读(139) 评论(0) 推荐(0) 编辑

kafka架构
摘要:1)Producer :消息生产者,就是向 kafka broker 发消息的客户端; 2)Consumer :消息消费者,向 kafka broker 取消息的客户端; 3)Consumer Group (CG):消费者组,由多个 consumer 组成。消费者组内每个消费者负 责消费不同分区的数 阅读全文

posted @ 2020-08-02 17:50 wsw_seu 阅读(127) 评论(0) 推荐(0) 编辑

消息队列的两种模式
摘要:(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 消息生产者生产消息发送到 Queue 中,然后消息消费者从 Queue 中取出并且消费消息。 消息被消费以后,queue 中不再有存储,所以消息消费者不可能消费到已经被消费的消息。 Queue 支持存在多个消费者,但是对一个消息而言 阅读全文

posted @ 2020-08-02 16:58 wsw_seu 阅读(815) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示