摘要:
# 1 稳定性-事务 ## 1.1 事务场景 1. 如producer发的多条消息组成一个事务这些消息需要对consumer同时可见或者同时不可见 。 2. producer可能会给多个topic,多个partition发消息,这些消息也需要能放在一个事务里面, 这就形成了一个典型的分布式事务。 3 阅读全文
摘要:
## 1零拷贝机制 **零拷贝**:零拷贝就是一种避免 CPU 将数据从一块存储拷贝到另外一块存储的技术,数据直接从磁盘文件复制到网卡设备中,而不需要经由应用程序之手 。零拷贝大大提高了应用程序的性能,减少了内核和用户模式之间的上下文切换 。 **传统IO** 比如:读取文件,socket发送 传统 阅读全文
摘要:
## 1.1.1 概念 ### 1.1.1.1 消费者、消费组 消费者从订阅主题消费数据时,消费偏移量会保存在 __consumer_offsets主题中 消费者还可以将自己的偏移量存储到Zookeeper,需要设置offset.storage=zookeeper。 推荐使用Kafka存储消费者的偏 阅读全文
摘要:
### 1.1 消息发送 #### 1.1.1 数据生产流程解析 ![image-20210816213642191](https://gitee.com/gcwel/datas/raw/master/src/main/resources/images/kafka-pr-1.png) ``` 1. 阅读全文
摘要:
版本信息kafka 1.0.2 spring-kafka高版本兼容低版本 pom <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</ 阅读全文
摘要:
版本信息kafka 1.0.2 1生产者 生产者主要的对象有: KafkaProducer , ProducerRecord 。 其中 KafkaProducer 是用于发送消息的类, ProducerRecord 类用于封装Kafka的消息。 KafkaProducer 的创建需要指定的参数和含义 阅读全文
摘要:
版本信息kafka 1.0.2 1.1 topic的创建与查询 1.1.1 创建topic 创建分区数为1 副本数为1 [root@lew1 app]# kafka-topics.sh --zookeeper lew1:2181 --create --topic gc_test1 --partiti 阅读全文
摘要:
1 前提准备 1.1 jdk及环境变量 [root@lew1 ~]# java -version java version "1.8.0_261" Java(TM) SE Runtime Environment (build 1.8.0_261-b12) Java HotSpot(TM) 64-Bi 阅读全文
摘要:
内容摘抄自《深入理解Java虚拟机 第三版》 java虚拟机在运行java程序时会把内存划分为几个不同的数据区域,这些区域各有用途,创建及销毁时间。根据《Java虚拟机规范》规定,java虚拟机包含以下几个内存区域:程序计数器,虚拟机栈,堆,方法区,本地方法栈 1.1.1 程序计数器 程序计数器( 阅读全文
摘要:
1.4基本架构 消息和批次 Kafka的数据单元称为消息。可以把消息看成是数据库里的一个“数据行”或一条“记录”。消息由字节数组组成。 消息有键,键也是一个字节数组。当消息以一种可控的方式写入不同的分区时,会用到键。为了提高效率,消息被分批写入Kafka。批次就是一组消息,这些消息属于同一个主题和分 阅读全文