mysql 性能问题的解决
场景:
模拟一天的数据,每个10秒,遍历1000个设备,每个设备模拟一个实时数据,总的数据量为:24*60*60/10*1000 = 864万条记录。
---------------------------------------------------------------------------------------------------------------------
策略:对时间分段,拼接sql语句查询。
1、对一个设备,求一天每小时的平均值,时间开销3分钟。
2、对domainid+devicecode+eventtime建立索引,时间开销10秒。
---------------------------------------------------------------------------------------------------------------------
上述策略,效率太差。修改为每小时对所有设备的数据求平均值,写入数据库。
1、每小时,根据domainid+devicecode分组,求出每个设备的平均值,使用group 分组,发现效率也太差。
2、搜索出所有的distinct domainid, devicecode,遍历游标逐个去求平均值效率就很高了。写入数据库的时候,使用事务批量写入。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· winform 绘制太阳,地球,月球 运作规律
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· AI与.NET技术实操系列(五):向量存储与相似性搜索在 .NET 中的实现
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 超详细:普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人