「经验汇总」基于TDengine的时序数据解决方案
为实现发电、输电、变电、配电、用电的实时智能联动,电力行业开始在传统业务之上构建信息网络、通讯网络、能源网络,运用云计算、物联网等新兴技术,大力发展数字化、信息化、智能化。在应对海量时序数据处理需求时,如关系型数据库、工业实时库、Hadoop 大数据平台在内的传统数据库解决方案问题重重,严重阻碍数字化进程。在此背景下,一些企业开始尝试进行数据架构改造,选择适合的时序数据库(Time Series Database,TSDB)产品,相关经验汇总如下:
TDengine x 中节能风力发电运维系统
“目前基于 TDengine 我们构建了中节能风电运维平台,使用后数据存储优势明显,整体压缩比在 7-8 倍,数据查询也实现了秒级响应。未来我们考虑在每个风电场站的三区部署一个单节点 TDengine,作用不只是采集和转发,还要起到时序数据质量治理以及实时模型预测的功能;而在集团侧我们会考虑基于 TDengine 构建更多更复杂的计算指标和高级模型;同时还要和任务调度引擎以及风电行业标准集成。”
业务背景
尽管中节能风力发电股份有限公司具备成熟的风电开发和运维经验,但随着在建风场逐步增多以及各类新型传感器的加装,传统运维方式越发吃力,严重限制业务发展。顺应时代潮流,数字化智能化的需求越来越强烈,其迫切需要基于海量时序数据的数据平台来支撑繁杂的运维工作。
在选型调研工作中,中节能最初尝试使用传统的工控时序数据库(Time-Series Database),但随着测点数量的增多,单机版架构已经无力支撑,后期他们尝试了 InfluxDB 和 OpenTSDB 等分布式架构的时序数据库,但性能又达不到要求。经过反复对比测试以及应用适配后,最终其选定 TDengine 作为数据平台的时序数据解决方案。
架构图
TDengine x 上海电气储能智慧运维系统
“在使用 InfluxDB 一周以后执行查询,内存使用率达到了 80%,并且过了十分钟也没出来结果,已经完全不适合业务使用。而在使用了 TDengine 近 1 个月后,使用相同的 SQL 语句,查询只需要 0.2 秒,表现非常优异。在压缩方面,在采集点数量相同的情况下,压缩后的数据量 TDengine 是 InfluxDB 的 1/3.”
业务背景
围绕“一芯 3S”核心产品链,上海电气着手构建储能核心竞争力,“SmartOPS 储能智慧运维系统”就作为其中的关键组成部分,旨在实现全面监测、预测性维护、热管理分析等高级应用。在本地部署中,该系统需要重点考虑本地硬件资源的限制,如站端系统的内存、CPU 以及读写性能等,选择合适的时序数据库成为破解问题的关键。在对 OpenTSDB、InfluxDB、Apache IoTDB、TDengine、ClickHouse 几款数据库进行对比测试后,其尝试在系统中落地了 TDengine。
效果展示
TDengine x 八五信息新能源电力物联网平台
“在应用 TDengine 之后,系统读写性能较原 TimescaleDB 数据库提高 10 倍左右,在数据接入层我们不用再担心数据库的写入性能瓶颈;数据分析查询应用层也较原系统有较大提升,尤其是在时间跨度大的聚合类分析几乎瞬间响应。在软硬件方面,TDengine 帮助我们节省了系统大量的计算资源以及存储资源,较原系统降低了大约 4 倍左右的存储成本。”
业务背景
在八五信息新能源电力物联网平台建设中,此前其使用 TimescaleDB,无论在读写性能,还是硬件资源上,都遇到了瓶颈,且该数据库没有集群功能。后面开始采用 TDengine,存储和查询分析物联网设备的实时数据,以及光伏设备传感器的遥测数据,需支撑至少 50000 台设备总计 400 万测点的实时数据接入、处理及存储,预计日增量 40 多亿条。
平台架构
TDengine x 水电厂畸变波形分析及故障预判系统
“TDengine 在该项目中顺利投入使用,在现场运行环境的表现,如同我们的验证测试一样,拥有优异的写入能力和快速的查询能力,可以有力地支撑系统对原始信号数据进行进一步的分析与应用。”
业务背景
计算机监控系统和机组稳定性监测分析系统,主要是从振动、气隙等状态量对主机设备的运行状态进行监测和评估,其核心需求是将全厂的电力系统各元件纳入系统的监测,并存储高采样率的原始信号数据,初步估算全厂电力系统元件 1 天即可产生 1.7TB 字节数据量,数据存储难题横亘眼前,在经过反复对比测试后,其决定将 TDengine 正式引入该项目。
点击案例查看更多技术细节
写在最后
时序数据库的设计和优化都是根据时序数据特点而来,在面对物联网、时序场景的数据处理需求时,时序数据库显然更加有针对性,而以上企业的事实证明,在电力行业中,时序数据库的应用能够有效增加系统的各方面性能,降低研发和运维成本,真正帮助企业实现降本增效。
欢迎添加小T(VX:TDengine),加入物联网技术讨论群,第一时间了解TDengine 官方信息,与关注前沿技术的同学们共同探讨新技术、新玩法。
想了解更多 TDengine Database的具体细节,欢迎大家在GitHub上查看相关源代码。