平时做个记录,在工作过程中针对大数据查询的一些小技巧
-----------SELECT-------------
1.必要的冗余字段,减少关联查询
2.关键查询字段必须加索引 否则百万级以上你就别想跑出来了,一下子吃掉你内存
3.top使用的时候 先用MAX判断下 ,因为数据库是隔一段时间删除之前的数据,如果top1 在百万级以上 你查询一条根本不存在的数据, 时间会特别久 甚至吃光你的内存
4.多用SQL监控语句 查看数据库查询不合理的地方,具体查询SQL在我上一条博客
-----------Insert-------------
1.批量插入技巧
如果我们一条一条插入数据,针对并发大,会丢失数据,并且对服务器内存和CPU损耗极大 所以我们一般采用缓存插入
1.程序级缓存,可以先把数据缓存到一个List或者HASH,判断条数到达某个设定值,利用.NET的SqlBulkCopy插入
2.NOSQL缓存,把数据先插入到Redis 然后用另外的程序去读取插入
等待继续更新...
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 【杭电多校比赛记录】2025“钉耙编程”中国大学生算法设计春季联赛(1)
2014-01-11 C#连接手机安装软件和发送信息