04 2020 档案

Kafka-处理请求(生产请求、获取请求)
摘要:Kafka-处理请求 broker的大部分工作室处理客户端、分区副本和控制器发送给分区首领的请求。kafka提供了一个二进制协议(基于TCP),指定了请求消息的格式以及broker如何对请求作出响应--包括成功处理请求或在处理请求过程中遇到错误。客户端发起连接并发送请求,broker处理请求并作出响 阅读全文

posted @ 2020-04-20 22:14 嘣嘣嚓 阅读(847) 评论(0) 推荐(0) 编辑

Kafka-分区复制
摘要:Kafka-分区复制 复制功能是kafka架构的核心。kafka对自己的描述:一个分布式的、可分区的、可复制的提交日志服务。 复制之所以那么关键,是因为它可以在个别节点失效时仍能保证kafka的可用性和持久性。 kafka使用主题来组织数据,每个主题被分为若干个分区,每个分区有多个副本。那些副本被保 阅读全文

posted @ 2020-04-14 22:39 嘣嘣嚓 阅读(465) 评论(0) 推荐(0) 编辑

Kafka-控制器
摘要:Kafka-控制器 控制器其实就是一个broker,只不过它除了具有一般broker的功能之外,还负责分区首领的选举。集群里第一个启动broker通过在zookeeper里创建一个临时节点/controller让自己成为控制器。其他broker在启动时也会尝试创建这个节点,不过它们会收到一个节点已存 阅读全文

posted @ 2020-04-14 22:38 嘣嘣嚓 阅读(219) 评论(0) 推荐(0) 编辑

Spark-作业执行流程概述
摘要:Spark-作业执行流程概述 spark的作业和任务带哦度系统是其核心,它能够有效地进行调度根本原因是对任务划分DAG和容错,使得它对底层到顶层的各个模块之间的调用和处理显的游刃有余。 相关术语 作业(job):RDD中由行动操作所生成的一个或多个调度阶段 调度阶段(stage):每个作业会因为RD 阅读全文

posted @ 2020-04-06 19:38 嘣嘣嚓 阅读(1176) 评论(0) 推荐(0) 编辑

Kafka-独立消费者
摘要:Kafka-独立消费者 有的时候,我们只需要一个消费者从一个主题的所有分区或者某个特定分区读取数据。这时就不需要消费者群组和再均衡了,只需要把主题或者分区分配给消费者,然后开始读取消息并提交偏移量。 如果是这样的话,就不需要订阅主题,取而代之的是为自己分配分区。 代码如下 import com.ch 阅读全文

posted @ 2020-04-06 15:42 嘣嘣嚓 阅读(661) 评论(0) 推荐(0) 编辑

Kafka-序列化器与反序列化器的使用(自定义消息类型)
摘要:Kafka-序列化器与反序列化器的使用(自定义消息类型) 代码如下 Customer /** * @Author FengZhen * @Date 2020-03-30 22:49 * @Description 自定义序列化器的实体类 */ public class Customer { priva 阅读全文

posted @ 2020-04-06 15:29 嘣嘣嚓 阅读(1350) 评论(0) 推荐(0) 编辑

Kafka-再均衡监听器
摘要:Kafka-再均衡监听器 在为消费者分配新分区或移除旧分区时,可以通过消费者API执行一些应用程序代码,在调用subscribe()方法时传进去一个ConsumerRebalanceListener实例就可以了。 public void onPartitionsRevoked(Collection< 阅读全文

posted @ 2020-04-06 14:56 嘣嘣嚓 阅读(1754) 评论(0) 推荐(0) 编辑

Kafka-消费者-偏移量的提交方式
摘要:Kafka-消费者-偏移量的提交方式 每次调用poll()方法,它总是返回由生产者写入Kafka但还没有被消费者读取过的记录,可以追踪到哪些记录是被群组里的哪个消费者读取的。 更新分区当前位置的操作叫做提交。 消费者往一个叫做 _consumer_offset的特殊主题发送消息,消息里包含每个分区的 阅读全文

posted @ 2020-04-06 14:41 嘣嘣嚓 阅读(2174) 评论(0) 推荐(0) 编辑

Kafka-消费者(订阅主题消费数据及常用调优参数解析)
摘要:Kafka-消费者基础使用及常用参数解析 消费者和消费者群组 kafka消费者从属于消费者群组。一个群组里的消费者订阅的是同一个主题,每个消费者接收主题一部分分区的消息。 假设主题T1有4个分区,我们创建了消费者C1,它是群组G1里唯一的消费者,我们用它订阅主题T1。消费者C1将收到主题T1全部的4 阅读全文

posted @ 2020-04-06 13:24 嘣嘣嚓 阅读(2674) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示