摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、自动提交 ### 自动提交 ~~~ 最简单的提交方式是让悄费者自动提交偏移量。 ~~~ 如果enable.auto.commit被设为 true,消费者会自动把从 poll() 方法接收到的最大偏移量提交上去。 ~~~ 提交时间间隔由 auto.commit.interval.ms 控制,默认值
阅读全文
摘要:一、Kafka源码剖析之Producer生产者流程 ### Producer示例 ~~~ 首先我们先通过一段代码来展示KafkaProducer 的使用方法。 ~~~ 在下面的示例中,我们使用KafkaProducer 实现向kafka发送消息的功能。 ~~~ 在示例程序中,首先将KafkaProd
阅读全文
摘要:一、Kafka源码剖析之Consumer消费者流程 ### Consumer示例 ~~~ # KafkaConsumer ~~~ 消费者的根本目的是从Kafka服务端拉取消息,并交给业务逻辑进行处理。 ~~~ 开发人员不必关心与Kafka服务端之间网络连接的管理、 ~~~ 心跳检测、请求超时重试等底
阅读全文
摘要:一、订阅Topic ### 订阅Topic ~~~ 下面我们先来看一下subscribe方法都有哪些逻辑 public void subscribe(Collection<String> topics, ConsumerRebalanceListenerlistener) { // 轻量级锁 acq
阅读全文
摘要:一、Kafka源码剖析之Topic创建流程 ### Topic创建 ~~~ 有两种创建方式:自动创建、手动创建。 ~~~ 在server.properties中配置auto.create.topics.enable=true 时, ~~~ kafka在发现该topic不存在的时候会按照默认配置自动创
阅读全文
摘要:一、Kafka源码剖析之源码阅读环境搭建 ### [kafka高级特性解析] ~~~ [源码剖析:源码阅读环境搭建] ~~~ [源码剖析:部署gradle] ~~~ [源码剖析:部署scala] ~~~ [源码剖析:IDEA导入源码] ~~~ [源码剖析:IDEA导入源码后设置] ### 官网地址下
阅读全文
摘要:一、Kafka源码剖析之Broker启动流程 ### 启动kafka:kafka-server-start.sh内容如下: ~~~ 命令如下: kafka-server-start.sh /opt/kafka_2.12-1.0.2/config/server.properties if [ $# -
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、监控工具 Kafka Eagle ### 监控工具kafka Eagle ~~~ 我们可以使用Kafka-eagle管理Kafka集群 ~~~ 自行编译官网, https://github.com/smartloli/kafka-eagle ### 核心模块: ~~~ # 面板可视化 ~~~ 主
阅读全文
摘要:附录一:system-config.properties文本二 [root@hadoop01 conf]# pwd /opt/yanqi/servers/kafka-eagle/kafka-eagle-web/target/test/kafka-eagle-web-2.0.1/conf [root@
阅读全文
摘要:一、编程手段获取监控指标:查看要监控哪个指标 二、监控指标项目准备主题数据 ### 查看现有的主题 [root@hadoop01 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --describe --topic topic_x Top
阅读全文
摘要:一、集群监控:监控度量指标 ### 监控度量指标 ~~~ Kafka使用Yammer Metrics在服务器和Scala客户端中报告指标。 ~~~ Java客户端使用Kafka Metrics,它是一个内置的度量标准注册表, ~~~ 可最大程度地减少拉入客户端应用程序的传递依赖项。 ~~~ 两者都通
阅读全文
摘要:一、集群搭建:搭建设计 ### 分配三台Linux,用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.111 Hadoop02 192.168.1.122 Hadoop03 192.168.1.133 二、部署kafka集群:配置hosts文件 ### 以上三台主机的/e
阅读全文
摘要:一、集群应用场景 ### 消息传递 ~~~ Kafka可以很好地替代传统邮件代理。 ~~~ 消息代理的使用有多种原因(将处理与数据生产者分离,缓冲未处理的消息等)。 ~~~ 与大多数邮件系统相比,Kafka具有更好的吞吐量,内置的分区,复制和容错功能,这 ~~~ 使其成为大规模邮件处理应用程序的理想
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、编程代码实现 ### AppConfig.java package com.yanqi.kafka.demo.config; import org.springframework.context.annotation.Bean; import org.springframework.contex
阅读全文
摘要:一、延时队列 ### 延时队列 ~~~ 两个follower副本都已经拉取到了leader副本的最新位置,此时又向leader副本发送拉取请求, ~~~ 而leader副本并没有新的消息写入,那么此时leader副本该如何处理呢? ~~~ 可以直接返回空的拉取结果给follower副本,不过在lea
阅读全文
摘要:一、重试队列 ### 重试队列 ~~~ kafka没有重试机制不支持消息重试,也没有死信队列,因此使用kafka做消息队列时, ~~~ 需要自己实现消息重试的功能。 ### 实现:创建新的kafka主题作为重试队列: ~~~ 创建一个topic作为重试topic,用于接收等待重试的消息。 ~~~ 普
阅读全文