eaglet

本博专注于基于微软技术的搜索相关技术
随笔 - 189, 文章 - 0, 评论 - 3725, 阅读 - 147万
  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

1.1.4.0 版本对底层的查询算法做了很大改进,特别是对单个关键字的查询速度,原来版本当匹配100万时用时 130ms,这个版本用时只有30ms。
原来版本的测试报告见 http://www.cnblogs.com/eaglet/archive/2010/09/03/1816856.html 这个速度大概是 lucene.net 的三倍左右。
查询的性能应该还有进一步提高空间,等完全优化好,我出一个最新的测试报告。
这个版本加载的速度有了显著提高,加载1000万行记录的索引,原来版本用时 23秒,这个版本用时只有1.9秒。
由于底层算法改进,多关键字的查询速度也相应有了提高。
这个版本对异步通信的连接池算法进行了优化,异步通信方式更加稳定和快速。
这个版本我测出了 hubbledotnet 的单个关键字查询理论最快速度(多关键字的查询速度比单关键字快,这个是hubble 的算法特点),这个速度建立在内存索引和部分代码用C++完成的基础上(目前还没有实现,只是理论值),理论上在 2GHZ CPU 单核运行,匹配100万记录时,hubble的理论最快速度是 8ms. 这个速度已经非常快了,查询结果平均匹配100万行的话,总记录数一般应该在1亿以上了,这么大的数据量,单核8ms完成的话,4核的普通服务器一秒钟可以做500次查询,单机可以支持1亿以上行记录索引每天超过4000万次查询,如果再加上缓存,每天可以达到1亿次以上查询。

编辑推荐:
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
阅读排行:
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· .NET周刊【3月第1期 2025-03-02】
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· [AI/GPT/综述] AI Agent的设计模式综述
历史上的今天:
2009-07-24 WinForm 下实现一个自动关闭的MessageBox
点击右上角即可分享
微信分享提示