kafka - 随笔分类 - papering

摘要：kafka listeners和advertised配置 - 时光依然轻擦 - 博客园 https://www.cnblogs.com/xuliang666/p/11871389.html 翻译搜索复制阅读全文

posted @ 2024-10-16 20:47 papering 阅读(37) 评论(0) 推荐(0)

摘要：为什么选择RocketMQ | RocketMQ https://rocketmq.apache.org/zh/docs/ 为什么 RocketMQ 在阿里孕育 RocketMQ 的雏形时期，我们将其用于异步通信、搜索、社交网络活动流、数据管道，贸易流程中。随着我们的贸易业务吞吐量的上升，源自我们阅读全文

posted @ 2023-10-07 15:56 papering 阅读(44) 评论(0) 推荐(0)

Kafka 是如何管理消费位点的

摘要：Apache Kafka https://kafka.apache.org/34/documentation.html#impl_offsettracking Consumer Offset Tracking Kafka consumer tracks the maximum offset it h 阅读全文

posted @ 2023-09-24 15:26 papering 阅读(65) 评论(0) 推荐(0)

乱序数据延迟计算 watermark kafka

摘要：kafka只能保证分区内的数据的有序性直播用户关注取消关注多次点击 EventTime 事件时间多久后执行翻译搜索复制阅读全文

posted @ 2023-09-23 18:36 papering 阅读(9) 评论(0) 推荐(0)

Kafka 订阅者 topic group 主题群再分配平衡

摘要：小结： 1、分区个数影响消费者的并发数量；2、对于同一个Group内的消费者来说，一个分区最多只能被一个消费者消费。一个Topic可以被多个Group订阅，且各个Group独立消费Topic下的所有消息。一个Group可以订阅多个Topic，多个Topic的消息被Group中的Consumer均匀消阅读全文

posted @ 2023-09-23 08:13 papering 阅读(204) 评论(0) 推荐(0)

Flink的Checkpoint状态和Kafka Broker上的提交位点一致

摘要：Flink的Checkpoint状态和Kafka Broker上的提交位点一致消息队列Kafka连接器_实时计算Flink版-阿里云帮助中心 https://help.aliyun.com/zh/flink/developer-reference/kafka-connector 消息队列Kafka 阅读全文

posted @ 2023-09-22 13:46 papering 阅读(462) 评论(0) 推荐(0)

properties.enable.idempotence 消息顺序和消息不重复

摘要：处理：在kafka 结果表with 参数里加'properties.enable.idempotence'='false' 来关闭客户端的幂等/事务 Kafka producer configuration reference | Confluent Documentation https://d 阅读全文

posted @ 2023-09-15 20:14 papering 阅读(190) 评论(0) 推荐(0)

在一个作业里将上游的MySQL数据实时同步到Kafka中，然后提供给多个下游作业消费

摘要：MySQL整库同步Kafka https://help.aliyun.com/document_detail/446799.html 翻译搜索复制阅读全文

posted @ 2023-06-16 00:31 papering 阅读(46) 评论(0) 推荐(0)

零拷贝

摘要：图解Kafka的零拷贝技术到底有多牛？-腾讯云开发者社区-腾讯云 https://cloud.tencent.com/developer/article/1421266 图解Kafka的零拷贝技术到底有多牛？发布于 2019-05-06 15:58:15 在上一文中“图解Kafka消息是被怎么存储阅读全文

posted @ 2020-08-14 21:10 papering 阅读(538) 评论(0) 推荐(0)

网站行为跟踪 Website Activity Tracking Log Aggregation 日志聚合 In comparison to log-centric systems like Scribe or Flume

摘要：网站行为跟踪 Website Activity Tracking 访客信息处理 Log Aggregation 日志聚合 Apache Kafka http://kafka.apache.org/uses In comparison to log-centric systems like Scrib 阅读全文

posted @ 2018-10-29 21:24 papering 阅读(307) 评论(0) 推荐(0)

Understanding When to use RabbitMQ or Apache Kafka Kafka RabbitMQ 性能对比

摘要：Understanding When to use RabbitMQ or Apache Kafka https://content.pivotal.io/rabbitmq/understanding-when-to-use-rabbitmq-or-apache-kafka Performance 阅读全文

posted @ 2018-07-04 09:38 papering 阅读(211) 评论(0) 推荐(0)

Kafka monitoring Kafka dashboard

摘要：go 阅读全文

posted @ 2017-11-02 22:13 papering 阅读(670) 评论(0) 推荐(0)

Apache Kafka® is a distributed streaming platform. What exactly does that mean?

摘要：https://kafka.apache.org/intro.html 阅读全文

posted @ 2017-10-31 17:03 papering 阅读(156) 评论(0) 推荐(0)

(t,p,o) t:p>=o there cannot be more consumer instances in a consumer group than partitions

摘要：https://kafka.apache.org/intro.html Kafka as a Messaging System How does Kafka's notion of streams compare to a traditional enterprise messaging syste 阅读全文

posted @ 2017-10-31 12:03 papering 阅读(189) 评论(0) 推荐(0)

kafka source type

摘要：https://flume.apache.org/FlumeUserGuide.html 【测试模拟】 a1.sources.r1.type = exec a1.sources.r1.command = tail -F /opt/data/access.log 【生产】阅读全文

posted @ 2017-10-26 18:29 papering 阅读(330) 评论(0) 推荐(0)

摘要：https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html Kafka 与 Flume 很多功能确实是重复的。以下是评估两个系统的一些建议： Kafka 是一个通用型系统。你可以有许多的生产者和消费者分享多个主题。相阅读全文

posted @ 2017-10-26 17:57 papering 阅读(375) 评论(0) 推荐(0)

Consumer Group Example

摘要：面向kafka编程 Consumer Group Example https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example The ‘zookeeper.session.timeout.ms’ is how ma 阅读全文

posted @ 2017-10-13 12:59 papering 阅读(249) 评论(0) 推荐(0)

papering

随笔分类 - kafka