索引缓存方面的一些测试数据

今天专门测试了对索引文件全部缓存到内存以及对单词的倒排索引结果进行缓存。测试下来文件缓存到内存对搜索的速度提高非常有限，即便在磁盘的 Avg Disk Queue length = 100 时，性能的提升也很有限。分析下来，原因大致是因为顺序读取文件时操作系统已经做了缓存。

而倒排结果的缓存对性能提升能起到一定的作用，但在返回结果集 100万以下时，提升有限。今天测试返回结果集达到 780 万时，采用倒排结果缓存技术用时搜索是 99ms，而直接读文件方式下搜索用时500ms，这个性能的提升还是比较明显，但同时带来的是大量的内存开销，大约1000万的倒排结果需要消耗160M左右的内存。

从测试结果分析，基本放弃文件缓存的设计，索引缓存的设计可以保留。对于小的文件块是否采用文件缓存设计，还需要进一步测试。小索引块缓存主要是为了解决频繁增量时出现大量小块索引碎片的问题，这时如果要读取一个完整的索引序列，必须打开上百个小文件，这时文件缓存可能能发挥作用，不过还是需要进一步测试才行。

 

eaglet