随笔分类 -  bdv013-kafka

1 2 3 4 5 6 下一页

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-10 14:07 yanqi_vip 阅读(4) 评论(0) 推荐(0) 编辑

|NO.Z.00101|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-10 14:06 yanqi_vip 阅读(3) 评论(0) 推荐(0) 编辑

|NO.Z.00100|——————————|BigDataEnd|——|Hadoop&kafka.V07|——|kafka.v07|Kafka源码剖析|Producer消费者流程.v03|
摘要:一、自动提交 ### 自动提交 ~~~ 最简单的提交方式是让悄费者自动提交偏移量。 ~~~ 如果enable.auto.commit被设为 true,消费者会自动把从 poll() 方法接收到的最大偏移量提交上去。 ~~~ 提交时间间隔由 auto.commit.interval.ms 控制,默认值 阅读全文

posted @ 2022-04-10 14:06 yanqi_vip 阅读(23) 评论(0) 推荐(0) 编辑

|NO.Z.00097|——————————|BigDataEnd|——|Hadoop&kafka.V04|——|kafka.v04|Kafka源码剖析|Producer生产者流程|
摘要:一、Kafka源码剖析之Producer生产者流程 ### Producer示例 ~~~ 首先我们先通过一段代码来展示KafkaProducer 的使用方法。 ~~~ 在下面的示例中,我们使用KafkaProducer 实现向kafka发送消息的功能。 ~~~ 在示例程序中,首先将KafkaProd 阅读全文

posted @ 2022-04-10 14:05 yanqi_vip 阅读(25) 评论(0) 推荐(0) 编辑

|NO.Z.00098|——————————|BigDataEnd|——|Hadoop&kafka.V05|——|kafka.v05|Kafka源码剖析|Producer消费者流程.v01|
摘要:一、Kafka源码剖析之Consumer消费者流程 ### Consumer示例 ~~~ # KafkaConsumer ~~~ 消费者的根本目的是从Kafka服务端拉取消息,并交给业务逻辑进行处理。 ~~~ 开发人员不必关心与Kafka服务端之间网络连接的管理、 ~~~ 心跳检测、请求超时重试等底 阅读全文

posted @ 2022-04-10 14:05 yanqi_vip 阅读(27) 评论(0) 推荐(0) 编辑

|NO.Z.00099|——————————|BigDataEnd|——|Hadoop&kafka.V06|——|kafka.v06|Kafka源码剖析|Producer消费者流程.v02|
摘要:一、订阅Topic ### 订阅Topic ~~~ 下面我们先来看一下subscribe方法都有哪些逻辑 public void subscribe(Collection<String> topics, ConsumerRebalanceListenerlistener) { // 轻量级锁 acq 阅读全文

posted @ 2022-04-10 14:05 yanqi_vip 阅读(49) 评论(0) 推荐(0) 编辑

|NO.Z.00096|——————————|BigDataEnd|——|Hadoop&kafka.V03|——|kafka.v03|Kafka源码剖析|Topic创建流程|
摘要:一、Kafka源码剖析之Topic创建流程 ### Topic创建 ~~~ 有两种创建方式:自动创建、手动创建。 ~~~ 在server.properties中配置auto.create.topics.enable=true 时, ~~~ kafka在发现该topic不存在的时候会按照默认配置自动创 阅读全文

posted @ 2022-04-10 14:04 yanqi_vip 阅读(53) 评论(0) 推荐(0) 编辑

|NO.Z.00094|——————————|^^ 部署 ^^|——|Hadoop&kafka.V01|——|kafka.v01|源码阅读|环境搭建|
摘要:一、Kafka源码剖析之源码阅读环境搭建 ### [kafka高级特性解析] ~~~ [源码剖析:源码阅读环境搭建] ~~~ [源码剖析:部署gradle] ~~~ [源码剖析:部署scala] ~~~ [源码剖析:IDEA导入源码] ~~~ [源码剖析:IDEA导入源码后设置] ### 官网地址下 阅读全文

posted @ 2022-04-10 14:03 yanqi_vip 阅读(62) 评论(0) 推荐(0) 编辑

|NO.Z.00095|——————————|BigDataEnd|——|Hadoop&kafka.V02|——|kafka.v02|Kafka源码剖析|Broker启动流程|
摘要:一、Kafka源码剖析之Broker启动流程 ### 启动kafka:kafka-server-start.sh内容如下: ~~~ 命令如下: kafka-server-start.sh /opt/kafka_2.12-1.0.2/config/server.properties if [ $# - 阅读全文

posted @ 2022-04-10 14:03 yanqi_vip 阅读(29) 评论(0) 推荐(0) 编辑

|NO.Z.00093|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-10 14:02 yanqi_vip 阅读(5) 评论(0) 推荐(0) 编辑

|NO.Z.00091|——————————|^^ 部署 ^^|——|Hadoop&kafka.V05|——|kafka.v05|监控工具KafkaEagle.v01|
摘要:一、监控工具 Kafka Eagle ### 监控工具kafka Eagle ~~~ 我们可以使用Kafka-eagle管理Kafka集群 ~~~ 自行编译官网, https://github.com/smartloli/kafka-eagle ### 核心模块: ~~~ # 面板可视化 ~~~ 主 阅读全文

posted @ 2022-04-10 14:01 yanqi_vip 阅读(39) 评论(0) 推荐(0) 编辑

|NO.Z.00092|——————————|BigDataEnd|——|Hadoop&kafka.V06|——|kafka.v06|监控工具KafkaEagle.v02|
摘要:附录一:system-config.properties文本二 [root@hadoop01 conf]# pwd /opt/yanqi/servers/kafka-eagle/kafka-eagle-web/target/test/kafka-eagle-web-2.0.1/conf [root@ 阅读全文

posted @ 2022-04-10 14:01 yanqi_vip 阅读(27) 评论(0) 推荐(0) 编辑

|NO.Z.00090|——————————|BigDataEnd|——|Hadoop&kafka.V04|——|kafka.v04|编程手段获取监控指标|
摘要:一、编程手段获取监控指标:查看要监控哪个指标 二、监控指标项目准备主题数据 ### 查看现有的主题 [root@hadoop01 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --describe --topic topic_x Top 阅读全文

posted @ 2022-04-10 14:00 yanqi_vip 阅读(27) 评论(0) 推荐(0) 编辑

|NO.Z.00089|——————————|BigDataEnd|——|Hadoop&kafka.V03|——|kafka.v03|监控度量指标|
摘要:一、集群监控:监控度量指标 ### 监控度量指标 ~~~ Kafka使用Yammer Metrics在服务器和Scala客户端中报告指标。 ~~~ Java客户端使用Kafka Metrics,它是一个内置的度量标准注册表, ~~~ 可最大程度地减少拉入客户端应用程序的传递依赖项。 ~~~ 两者都通 阅读全文

posted @ 2022-04-10 13:59 yanqi_vip 阅读(35) 评论(0) 推荐(0) 编辑

|NO.Z.00088|——————————|^^ 部署 ^^|——|Hadoop&kafka.V02|——|kafka.v02|集群搭建|
摘要:一、集群搭建:搭建设计 ### 分配三台Linux,用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.111 Hadoop02 192.168.1.122 Hadoop03 192.168.1.133 二、部署kafka集群:配置hosts文件 ### 以上三台主机的/e 阅读全文

posted @ 2022-04-10 13:59 yanqi_vip 阅读(38) 评论(0) 推荐(0) 编辑

|NO.Z.00087|——————————|BigDataEnd|——|Hadoop&kafka.V01|——|kafka.v01|集群与运维|集群应用场景|
摘要:一、集群应用场景 ### 消息传递 ~~~ Kafka可以很好地替代传统邮件代理。 ~~~ 消息代理的使用有多种原因(将处理与数据生产者分离,缓冲未处理的消息等)。 ~~~ 与大多数邮件系统相比,Kafka具有更好的吞吐量,内置的分区,复制和容错功能,这 ~~~ 使其成为大规模邮件处理应用程序的理想 阅读全文

posted @ 2022-04-10 13:58 yanqi_vip 阅读(27) 评论(0) 推荐(0) 编辑

|NO.Z.00086|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-10 13:58 yanqi_vip 阅读(6) 评论(0) 推荐(0) 编辑

|NO.Z.00085|——————————|BigDataEnd|——|Hadoop&kafka.V70|——|kafka.v70|稳定性|重试队列.v02|
摘要:一、编程代码实现 ### AppConfig.java package com.yanqi.kafka.demo.config; import org.springframework.context.annotation.Bean; import org.springframework.contex 阅读全文

posted @ 2022-04-10 13:57 yanqi_vip 阅读(24) 评论(0) 推荐(0) 编辑

|NO.Z.00083|——————————|BigDataEnd|——|Hadoop&kafka.V68|——|kafka.v68|稳定性|延时队列|
摘要:一、延时队列 ### 延时队列 ~~~ 两个follower副本都已经拉取到了leader副本的最新位置,此时又向leader副本发送拉取请求, ~~~ 而leader副本并没有新的消息写入,那么此时leader副本该如何处理呢? ~~~ 可以直接返回空的拉取结果给follower副本,不过在lea 阅读全文

posted @ 2022-04-10 13:56 yanqi_vip 阅读(23) 评论(0) 推荐(0) 编辑

|NO.Z.00084|——————————|BigDataEnd|——|Hadoop&kafka.V69|——|kafka.v69|稳定性|重试队列.v01|
摘要:一、重试队列 ### 重试队列 ~~~ kafka没有重试机制不支持消息重试,也没有死信队列,因此使用kafka做消息队列时, ~~~ 需要自己实现消息重试的功能。 ### 实现:创建新的kafka主题作为重试队列: ~~~ 创建一个topic作为重试topic,用于接收等待重试的消息。 ~~~ 普 阅读全文

posted @ 2022-04-10 13:56 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

1 2 3 4 5 6 下一页
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

导航

统计

点击右上角即可分享
微信分享提示