eaglet

本博专注于基于微软技术的搜索相关技术
随笔 - 189, 文章 - 0, 评论 - 3725, 阅读 - 147万
  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

HubbleDotNet 0.9.1.0 版本性能介绍

Posted on   eaglet  阅读(1093)  评论(18编辑  收藏  举报

弄了3 个星期才把 0.9.1.0 版本搞定,这个版本索引结构进行了大幅调整,占用内存大幅下降,原来 400万数据要占用130M内存,现在只占用1M都不到,表的初始化时间大幅缩短,400万行数据由原来的将近20秒缩短到1秒以内。索引速度大幅提高,在4年前配置的笔记本电脑上(硬盘5400转),索引速度达到120M每分钟(不考虑分词时间,如果是中文分词,速度会因为分词而下降比较厉害)。查询时临时内存分配数量大幅下降,查询速度特别是 Contains 的查询速度大幅提高,多关键字情况下精确查询的速度提高了5倍以上。

从这个版本开始,索引结构将不再做重大调整,除非我发现了更加高效的算法。各位组员如果打算研究HubbleDotNet 的内部索引结构和搜索机制,可以从这个版本开始研究了。之前我一直不鼓励大家研究是因为索引结构没有完全成型。大家研究过程中可以多写一些这方面的文章,这样可以让更多人了解和研究。有什么问题,可以在 搜索引擎小组或QQ群里交流,我有空会做一些解答。


源码下载地址

http://hubbledotnet.codeplex.com/SourceControl/list/changesets

升级方法

http://www.cnblogs.com/eaglet/archive/2010/05/05/1727964.html

编辑推荐:
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
阅读排行:
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· .NET周刊【3月第1期 2025-03-02】
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· [AI/GPT/综述] AI Agent的设计模式综述
点击右上角即可分享
微信分享提示