crossoverJie

摘要： 背景 最近公司将我们之前使用的链路工具切换为了 OpenTelemetry. 我们的技术栈是： OTLP Client──────────►Collect────────►StartRocks (Agent) ▲ │ │ Jaeger 其中客户端使用 OpenTelemetry 提供的 Java A 阅读全文

摘要： 背景 在整个大环境的降本增效的熏陶下，我们也不得不做好应对方案。 根据对线上流量、存储以及系统资源的占用，发现我们的 Pulsar 集群有许多的冗余，所以考虑进行缩容从而减少资源浪费，最终也能省一些费用。 不过在缩容之前很有必要先聊聊扩容，Pulsar 一开始就是存算分离的架构（更多关于 Pulsa 阅读全文

摘要： 今天是春节的最后一天，因为工作上临时有点事，很不情愿的打开电脑看着也就 10 天没看代码觉得非常陌生。 之后便准备将迟迟未写的 2023 总结补完，这个传统从16年至今已经坚持将近 7 年时间了，今年当然也不能意外。 健身 今年要说最让我印象深刻的事就是健身了，为此我投入了大量的时间。 我记得是在 阅读全文

摘要： 背景 前段时间无意间看到一篇公众号 招贤令：一起来搞一个新开源项目，作者介绍他想要做一个开源项目：cprobe 用于整合目前市面上散落在各地的 Exporter，统一进行管理。 比如我们常用的 blackbox_exporter/mysqld_exporter 等。 以往的每一个 Exporter 阅读全文

摘要： 最近我们的 Pulsar 存储有很长一段时间数据一直得不到回收，但消息确实已经是 ACK 了，理论上应该是会被回收的，随着时间流逝不但没回收还一直再涨，最后在没找到原因的情况下就只有一直不停的扩容。 最后磁盘是得到了回收，过程先不表，之后再讨论。 为了防止类似的问题再次发生，我们希望可以监控到磁盘维 阅读全文

摘要： 在上一篇 Pulsar3.0新功能介绍中提到，在升级到 3.0 的过程中碰到一个致命的问题，就是升级之后 topic 被删除了。 正好最近社区也补充了相关细节，本次也接着这个机会再次复盘一下，毕竟这是一个非常致命的 Bug。 现象 先来回顾下当时的情况：升级当晚没有出现啥问题，各个流量指标、生产者、 阅读全文

摘要： 在上一篇文章 Pulsar3.0 升级指北讲了关于升级 Pulsar 集群的关键步骤与灾难恢复，本次主要分享一些 Pulsar3.0 的新功能与可能带来的一些问题。 升级后所遇到的问题 先来个欲扬先抑，聊聊升级后所碰到的问题吧。 其中有两个问题我们感知比较明显，特别是第一个。 topic被删除 我们 阅读全文

摘要： Pulsar3.0 介绍 Pulsar3.0 是 Pulsar 社区推出的第一个 LTS 长期支持版本。 如图所示，LTS 版本会最长支持到 36 个月，而 Feature 版本最多只有六个月；类似于我们使用的 JDK11,17,21 都是可以长期使用的；所以也推荐大家都升级到 LTS 版本。 作为 阅读全文

摘要： 背景 前段时间在使用 Pulsar 的 admin API 时，发现其中的一个接口响应非常慢： admin.topics().getPartitionedStats(topic); 使用 curl 拿到的响应结果非常大，同时也非常耗时： 具体的 issue 在这里：https://github.co 阅读全文

摘要： 背景 之前写过一篇文章 VictoriaLogs：一款超低占用的 ElasticSearch 替代方案讲到了我们使用 Victorialogs 来存储 Pulsar 消息队列的消息 trace 信息。 而其中的关键的埋点信息是通过 Pulsar 的 BrokerInterceptor 实现的，后面就 阅读全文