一文告诉你为什么时序场景下 TDengine 数据订阅比 Kafka 好
在 TDengine 3.0 中,我们对流式计算、数据订阅功能都进行了再升级,帮助用户极大简化了数据架构的复杂程度,降低整体运维成本。TDengine 提供的类似消息队列产品的数据订阅、消费接口,本质上是为了帮助应用实时获取写入 TDengine 的数据,或者以事件到达顺序处理数据,与其他消息队列相比,它提供了更大的灵活性,同时有效地降低了传输的数据量与应用的复杂度。
在本篇文章中,TDengine 研发人员详细揭秘了 TDengine 数据订阅的流程和具体实现,给到有需要的人参考。此前我们还在《关于 TDengine 3.0 数据订阅,你需要知道这些》一文中汇总了部分重要的语法规则,如果你正在研究 TDengine 数据订阅功能,可以结合来看。
数据订阅的分类
TDengine 支持多种订阅类型,包括子查询结果订阅、超级表订阅以及整个数据库订阅。超级表订阅和库订阅支持参数 with meta,添加此参数后,订阅的结果将包含数据的 meta 信息,一般用于数据同步迁移。具体语法如下:
- 列订阅
CREATE TOPIC topic_name as subquery;
- 库订阅
CREATE TOPIC topic_name as database db_name [with meta];
- 超级表订阅
CREATE TOPIC topic_name as stable stb_name [with meta];
与 Kafka 对比
一直以来,TDengine 做产品的初衷就是简单易用,因此在做数据订阅功能时,API 全部对标的都是 Kafka。如果有人深入研究过 TDengine 的模型,就会发现它的架构模型和 Kafka 的很多设计都是相对应的,Topic 和 Kafka 相似,Vnode 跟 Kafka 中的 Partition 也很接近,子表的表名跟 Kafka 中的 Event Key 对应,因此这个架构设计天然地就带有消息队列的特点,也正是基于此,TDengine 做数据订阅功能才能如此得心应手。
TDengine 的数据订阅功能与 Kafka 相比,基本概念都是一致的,只是具体实现方式可能有所不同,实现路径如下所示:
在时序数据场景下,TDengine 降低了用户对 Kafka 的依赖,其 Vnode 可以允许不同的消费者同时消费数据,用户只需要订阅自己关注的这部分数据,比如说你只想关注电流里面超限的数据,那你使用 TDengine 进行订阅时的数据传输总量是非常小的,但用 Kafka 进行数据订阅时很可能需要从服务器拉取全部的数据,然后还要在客户端中进行数据筛选,这时两者的性能就完全不在一个量级上了。
TDengine 数据订阅关键参数说明
消费示例代码
TDengine 数据订阅的流程
Client 端的功能
- 提交 commit
- 获取 endpoint
- 心跳 保活
- 消费数据
client 端在单消费线程里处理逻辑非常简单,无需对资源做并发控制。
Server 端的功能
- 消费分配控制(rebalance)(c1 表示 comsumer ID,g1 表示 group ID)
该功能通过 timer 控制,每 2s 检测一次是否需要 rebalance,rebalance 后,consumer 需要获取到新的 EP,才可正常消费,否则 consumer ID 将出现不匹配的情况,会重试。
- 消费状态控制
- 消费进度控制
结语
TDengine 的数据订阅、流式计算功能优势也体现在企业的具体实践上,以西门子的数字化解决方案改造项目为例,TDengine 帮助其 SIMICAS® OEM 2.0 版本移除了 Flink、Kafka 以及 Redis,大大简化了系统架构,节约了运维成本;在狮桥集团的网货平台与金融 GPS 系统数据架构改造中,部署了 TDengine 之后,直接下线了一整套的末次位置 Redis 集群、轨迹查询的 Hbase 集群也被集体下掉。
如果你也面临着性能和成本难以两全的数据处理难题,亟需升级数据架构,欢迎添加小T vx:tdengine,和更专业的解决方案架构师点对点沟通。
关于 TDengine
TDengine 核心是一款高性能、集群开源、云原生的时序数据库(Time Series Database,TSDB),专为物联网、工业互联网、电力、IT 运维等场景设计并优化,具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等系统功能,能大幅减少系统设计的复杂度,降低研发和运营成本,是一个高性能、分布式的物联网、工业大数据平台。当前 TDengine 主要提供两大版本,分别是支持私有化部署的 TDengine Enterprise 以及全托管的物联网、工业互联网云服务平台 TDengine Cloud,两者在开源时序数据库 TDengine OSS 的功能基础上有更多加强,用户可根据自身业务体量和需求进行版本选择。