08 2014 档案

Lucene 4.X 倒排索引原理与实现: (3) Term Dictionary和Index文件 (FST详细解析)
摘要：我们来看最复杂的部分，就是Term Dictionary和Term Index文件，Term Dictionary文件的后缀名为tim，Term Index文件的后缀名是tip，格式如图所示。Term Dictionary文件首先是一个Header，接下来是PostingsHeader，这两个的格式... 阅读全文
posted @ 2014-08-29 21:14 刘超觉先 阅读(23514) 评论(2) 推荐(7) 编辑
Lucene 4.X 倒排索引原理与实现: (2) 倒排表的格式设计
摘要：1. 定长编码最容易想到的方式就是常用的普通二进制编码，每个数值占用的长度相同，都占用最大的数值所占用的位数，如图所示。这里有一个文档ID列表，254,507,756,1007，如果按照二进制定长编码，需要按照最大值1007所占用的位数10位进行编码，每个数字都占用10位。和词典的格式设计中顺序列表... 阅读全文
posted @ 2014-08-29 11:40 刘超觉先 阅读(12427) 评论(7) 推荐(8) 编辑
Lucene 4.X 倒排索引原理与实现: (1) 词典的设计
摘要：词典的格式设计词典中所保存的信息主要是三部分：Term字符串Term的统计信息，比如文档频率(Document Frequency)倒排表的位置信息其中Term字符串如何保存是一个很大的问题，根据上一章基本原理的表述中，我们知道，写入文件的Term是按照字典顺序排好序的，那么如何将这些排好序的Ter... 阅读全文
posted @ 2014-08-28 10:23 刘超觉先 阅读(23624) 评论(5) 推荐(10) 编辑

点击右上角即可分享
微信分享提示