《信息检索导论》第二章总结
建立倒排记录表之前
一、文件的编码
一般一个文件都是以字节的方式存储的，如果想要让其可读，就必须要通过正确的编码方式转换成字符；就像Java IO一样，如果没有通过正确的编码方式打开一个文件，会出现乱码。因此在一系列处理步骤之前，知道文档的编码是重要的。一般在文档的meta data部分都会保存编码方式。
二、索引粒度
索引粒度的选取也是很重要的。因为如果把索引粒度选的太大，比如你想找Information Retrieval，如果索引粒度为整本书，则只要出现Information和Retrieval的书都会被选中，这非常不精确。
三、Tokenization
词条化：这个方法就像Java中StringTokenizer的用法，将一个文档（长的字符串）切分成一个个小单词。
Token：词条化后的一个个单词；
Type：将词条化的单词放入集合后的结果。
Term：将Type进行归一化后的结果，即dictionary中能找到的词。
比如 a apple and a banana ;有5个token，4个type（a合并），2个Term（去除停用词）；
四、Stop words
停用词就是一些很常用的词，比如the , a 等；这些词因为出现的次数很多，每篇文档都会出现，所以如果要让他也在倒排索引中，则会引起posting过大的情况。
注意：
(1)有时去除停用词的方法也会有问题,比如：to be or not to be，to be 都是停用词，那么查询变成了 or not，则意义完全不一致。
(2)去除停用词是应用于文档和查询的，在文档中，不对停用词构建倒排索引，而在查询中，也去除停用词，只将其他词做索引。
去除停用词缺点：会使表达的语义不一致，比如from Shanghai to BeiJing;变成Shanghai Beijing 则语义会不一致；
五、等价类
如果有一个等价类：｛A，B，C，D｝；如果需要查询A，则等同于查询A,B,C,D;
而Normalization就是利用等价类，常用的方法是：大小写转换（case folding）；
注意：
（1）大小写转换也会有缺点：比如C.A.T，会转换成cat ，偏离了原本意义。
（2）等价类也是同时应用于查询和文档的。
六、stemming和lemmatization
Stemming：简单的通过截取的方式去除前缀和后缀。比如solution，变成 solu；
词干还原能够提高查全率，降低查准率；因为比如respective和respectability都转换成respect，但是意义却不一样，因此在查询respectability时，会通过stemming转换成respect，并且查询到respective。
stemming能够降低dictionary的大小；
Porter算法：一种针对英文，有效的词干分析的算法。
Porter预先会给出一些mapping：
tion--->空
IES---->I
等等；
规则1：去除后缀后长度大于1；
规则2：当多条匹配时，则取最长的。
Lemmatization：通过词典的分析来进行合理地去除词缀，比如men，变成man；
lemma：词形分析后得到的单词；
注意：词干还原和词形分析是对文档和查询词使用的，因此在建立索引是就会把respective和respectability解析成一个respect，即dictionary中是respect，posting是这两个词的docID的并集。而在查询时如果查询的词是respective，则会进行词干还原，并变成respect后在倒排索引中寻找。
倒排记录表的结构
1.含有Skip pointer的inverted index
原本的倒排记录表合并算法需要O(m+n)，但是如果使用了跳表，则可以达到次线性时间。
在posting中包含skip pointer，可以跳过那些肯定不在结果中的docID，并且只适用于AND操作。
通常：每（根号p）处放一个倒排指针，p为倒排记录表的长度；
比如：有16个docID，如下：
则每四个放置一个跳表，即1-->5,5-->9,9-->13,13-->17;
注意：这种方法适用于倒排索引稳定的前提；
2.positional inverted index
在posting的每个docID后面跟上单词出现的位置，比如：apple -----> 1(2,3,4) ;2(4,5,6);
注意：positional index可以进行邻近搜索，而二元词不能。
缺点：倒排记录表的posting太大。
应用：处理邻近查询。
采用positional index进行合并需要的复杂度是O(T); T是文档集中词条数目；
3.biword inverted index
将两个词看成一个item，即在dictionary中都是两个词为一组。
比如invert and revert,则会变成invert and和and revert；但是这种做法使得倒排记录表迅速变大。
这种方法的缺点很多：
（1）不适用于单词查询。
（2）倒排记录表太大。
（3）查询有时还不正确。需要进行后过滤（即在查询词组中过滤一遍）
折中策略：
（1）对于单个单词出现次数非常多，而组成一个词组后出现次数大大减少的词组，用biword index；
（2）对于那些经常被用户查询的词组，使用biword index；
（3）其余使用positional index；
