crossoverJie

2024年4月9日

摘要：背景最近公司将我们之前使用的链路工具切换为了 OpenTelemetry. 我们的技术栈是： OTLP Client──────────►Collect────────►StartRocks (Agent) ▲ │ │ Jaeger 其中客户端使用 OpenTelemetry 提供的 Java A 阅读全文

posted @ 2024-04-09 10:33 crossoverJie 阅读(844) 评论(0) 推荐(2) 编辑

2024年3月29日

在 kubernetes 环境下如何优雅扩缩容 Pulsar

摘要：背景在整个大环境的降本增效的熏陶下，我们也不得不做好应对方案。根据对线上流量、存储以及系统资源的占用，发现我们的 Pulsar 集群有许多的冗余，所以考虑进行缩容从而减少资源浪费，最终也能省一些费用。不过在缩容之前很有必要先聊聊扩容，Pulsar 一开始就是存算分离的架构（更多关于 Pulsa 阅读全文

posted @ 2024-03-29 11:21 crossoverJie 阅读(298) 评论(0) 推荐(1) 编辑

2024年2月22日

我的2023

摘要：今天是春节的最后一天，因为工作上临时有点事，很不情愿的打开电脑看着也就 10 天没看代码觉得非常陌生。之后便准备将迟迟未写的 2023 总结补完，这个传统从16年至今已经坚持将近 7 年时间了，今年当然也不能意外。健身今年要说最让我印象深刻的事就是健身了，为此我投入了大量的时间。我记得是在阅读全文

posted @ 2024-02-22 09:31 crossoverJie 阅读(904) 评论(2) 推荐(6) 编辑

2024年1月26日

手把手教你为开源项目贡献代码

摘要：背景前段时间无意间看到一篇公众号招贤令：一起来搞一个新开源项目，作者介绍他想要做一个开源项目：cprobe 用于整合目前市面上散落在各地的 Exporter，统一进行管理。比如我们常用的 blackbox_exporter/mysqld_exporter 等。以往的每一个 Exporter 阅读全文

posted @ 2024-01-26 09:48 crossoverJie 阅读(299) 评论(0) 推荐(1) 编辑

2024年1月17日

白话 Pulsar Bookkeeper 的存储模型

摘要：最近我们的 Pulsar 存储有很长一段时间数据一直得不到回收，但消息确实已经是 ACK 了，理论上应该是会被回收的，随着时间流逝不但没回收还一直再涨，最后在没找到原因的情况下就只有一直不停的扩容。最后磁盘是得到了回收，过程先不表，之后再讨论。为了防止类似的问题再次发生，我们希望可以监控到磁盘维阅读全文

posted @ 2024-01-17 10:26 crossoverJie 阅读(243) 评论(0) 推荐(1) 编辑

2024年1月9日

请注意，你的 Pulsar 集群可能有删除数据的风险

摘要：在上一篇 Pulsar3.0新功能介绍中提到，在升级到 3.0 的过程中碰到一个致命的问题，就是升级之后 topic 被删除了。正好最近社区也补充了相关细节，本次也接着这个机会再次复盘一下，毕竟这是一个非常致命的 Bug。现象先来回顾下当时的情况：升级当晚没有出现啥问题，各个流量指标、生产者、阅读全文

posted @ 2024-01-09 12:25 crossoverJie 阅读(206) 评论(0) 推荐(1) 编辑

2024年1月5日

Pulsar3.0新功能介绍

摘要：在上一篇文章 Pulsar3.0 升级指北讲了关于升级 Pulsar 集群的关键步骤与灾难恢复，本次主要分享一些 Pulsar3.0 的新功能与可能带来的一些问题。升级后所遇到的问题先来个欲扬先抑，聊聊升级后所碰到的问题吧。其中有两个问题我们感知比较明显，特别是第一个。 topic被删除我们阅读全文

posted @ 2024-01-05 15:17 crossoverJie 阅读(448) 评论(4) 推荐(0) 编辑

2023年12月25日

Pulsar3.0 升级指北

摘要： Pulsar3.0 介绍 Pulsar3.0 是 Pulsar 社区推出的第一个 LTS 长期支持版本。如图所示，LTS 版本会最长支持到 36 个月，而 Feature 版本最多只有六个月；类似于我们使用的 JDK11,17,21 都是可以长期使用的；所以也推荐大家都升级到 LTS 版本。作为阅读全文

posted @ 2023-12-25 10:33 crossoverJie 阅读(244) 评论(0) 推荐(0) 编辑

2023年12月21日

如何给开源项目发起提案

摘要：背景前段时间在使用 Pulsar 的 admin API 时，发现其中的一个接口响应非常慢： admin.topics().getPartitionedStats(topic); 使用 curl 拿到的响应结果非常大，同时也非常耗时：具体的 issue 在这里：https://github.co 阅读全文

posted @ 2023-12-21 18:31 crossoverJie 阅读(425) 评论(1) 推荐(4) 编辑

2023年12月12日

如何编写一个 Pulsar Broker Interceptor 插件

摘要：背景之前写过一篇文章 VictoriaLogs：一款超低占用的 ElasticSearch 替代方案讲到了我们使用 Victorialogs 来存储 Pulsar 消息队列的消息 trace 信息。而其中的关键的埋点信息是通过 Pulsar 的 BrokerInterceptor 实现的，后面就阅读全文

posted @ 2023-12-12 09:22 crossoverJie 阅读(163) 评论(4) 推荐(0) 编辑

You never know what you can do till you try.

公告

微信公众号：crossoverJie

搜索

常用链接

我的标签

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论