目前项目中的日志查询 功能 由于长年累月的写入,目前已经达到千万级,对日志进行like 查询,速度可想而知。
此处只讨论 在数据库的优化。
当时 想到两个方案,一个是分区,一个 是全文检索。
分区的话,如果跨区,速度也会很慢,并且对区粒度的划分也得考虑,并且既然使用 like ‘%XX%’,必然不会走索引。
所以 选择 sqlserver 的full-text search 功能,该功能类似一个轻量级搜索引擎。
实现步骤:
1. 首先安装sqlserver时,必须选择安装FULL-Text search功能
2. 创建全文目录,如图,右键 创建即可,
3. 在对应的表或者视图上 定义全文索引:注意 表或者视图 必须存在唯一索引,且视图不能包含union,且每个表或者视图,只能有一个全文索引,步骤:选中 表或者视图 --右键--定义全文索引--下一步,直到 选择索引 界面,如果存在全文索引,则系统默认选中,否则,会提示 无有效索引。
4. 选择索引列 ,第3步ok后,点击 下一步 ,选择需要建立全文检索的列,并选择 断字符语言(就类似切词,搜索引擎嘛)
5. 第4步ok后,下面就是 设置 索引填充规则了,上面都有说明,自己 实际 操作 看一下就行了,然后 下一步,直到 定义填充计划 这个页面,这个干什么的呢。 就是 说 我可以 定义一个job定时进行填充以及填充方式(不能每次都完全填充吧,可以是 增量填充或者基于更改的填充,),next.大功告成。
6 修改 查询 sql : cl like '%xxx%' 改为 contains(cl,'xxx')即可,也可使用 freetext. 剩余 的自己 google吧
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 25岁的心里话
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· ollama系列01:轻松3步本地部署deepseek,普通电脑可用
· 按钮权限的设计及实现
2010-07-06 远程桌面、远程控制的实现原理
2009-07-06 shtml我几乎要忘了的东西
2007-07-06 什么是CMS系统