lucene倒排表在内存中的缓存结构2--一个demo
跟进TermHashPerField里面的add()方法,
新增term
为term即将存储的[docId,freq]信息、posi等信息，在bytePool中申请slice（内存空间），并将对应的slice起始位置作为[docId,freq]和posi等信息的结束位置写入intPool（由于还没存入信息，所以用起始位置作为结束位置），两个信息在bytePool中分别存在独立的slice中。
调用FreqProxTermsWriterPerField的newTerm方法，首先将该term的lastdocId置为当前docId，将freq置为1，将docCodes置为当前docId << 1，左移一位目的是，最后一位为0，表示后面跟随freq信息，在addTerm时可以看到其他处理，这个优化是因为大多数term都只会出现一次，另开一个int存储比较浪费。
然后在bytePool中写入posi等信息，并调整intPool中posi信息的最后一位下标。
已有term
调用FreqProxTermsWriterPerField的addTerm方法，首先判断当前处理的docId和该term最后一次处理的docId是否一样，如果一样，则证明这是一个doc分词出的相同term，需要累加freq，但是不需要更新docId；如果不一样，则证明上一次的doc已经处理完毕，应当将上次的所有信息刷入内存池，我们以不一样为例讲解下。
如果不是一个docId，则证明上一个文档刚处理结束，当前所有记录的信息都是上一个doc的。如果出现频率的频率等于1，则没必要写入freq信息，直接把docCodes最后一位置为1，写入docCodes即可。否则，直接写入docCodes（此时docCodes最后一位为0，在newTerm的时候有设置），并且写入freq信息。
写入完成后，则上一个doc处理完毕，开始处理当前文档。首先将termFreq设置为1，表明这是当前文档第一次出现这个term，然后设置docCodes，采用差值设置，并左移一位，将最后一位置为0，原理同newTerm。
然后写入posi等信息，原理通newTerm。
测试demo
private Document getDocument(String value) throws Exception {
Document doc = new Document();
FieldType fieldType = new FieldType();
fieldType.setIndexOptions(IndexOptions.DOCS_AND_FREQS_AND_POSITIONS);
fieldType.setTokenized(true);
Field pathField = new Field("name", value, fieldType);
//向document中添加信息
doc.add(pathField);
return doc;
}
//创建索引
public void writeToIndex() throws Exception {
//需要创建索引的数据位置
Document document = getDocument("lucene1");
writer.addDocument(document);
// breakpoint1
document = getDocument("lucene2 lucene2");
writer.addDocument(document);
// breakpoint2
document = getDocument("lucene2 lucene2 test lucene2 lucene2");
writer.addDocument(document);
// breakpoint3
}
breakpoint1
下标 postingsArray.textStarts postingsArray.intStarts postindesArray.byteStarts intPool bytePool
0 0 0 8 8 7
1 0 0 0 14 108
2 0 0 0 0 117
3 0 0 0 0 99
4 0 0 0 0 101
5 0 0 0 0 110
6 0 0 0 0 101
7 0 0 0 0 49
8 0 0 0 0 0
9 0 0 0 0 0
10 0 0 0 0 0
11 0 0 0 0 0
12 0 0 0 0 16
13 0 0 0 0 0
14 0 0 0 0 0
15 0 0 0 0 0
16 0 0 0 0 0
17 0 0 0 0 16
在这个断点，只有一个term出现，lucene1的termId为0。
textStarts[0] = 0，表示term字面值在bytePool中第0位开始，bytePool[0] = 7，表示term长度为7，bytePool中1~7为term字面值。
8~12是第一个slice，用来存储[docId,freq]，最后一位16表示没有向后延伸。
13~17是第二个slice，用来存储posi等信息，最后一位16表示没有向后延伸。
再来看intStarts[0] = 0，表示term相关信息在intPool中第0位开始，由于有posi信息，则在intPool中需要占两个位置。因此intPool[0]和intPool[1]分别表示这个term在bytePool中[docId,freq]和posi等信息的结束位置+1
byteStarts[0] = 8，表示term的[docId,freq]信息在bytePool中从第8个字节开始。
intPool[0] = 8，表示[docId,freq]在bytePool中结束位置 + 1 。为什么明明有一个doc，但是intPool[0]中指示[doc,freq]的结束位置为8，等于byteStarts[0]呢，相当于没有任何信息呢？原因是虽然doc1已经处理完毕，但是此时对于lucene1这个term，没有其他的doc，所以这个信息还没有被写入intPool，仍存在lucene1的这个term的docCodes、freq数组中。
intPool[1] = 14，表示pos等信息的结束位置为14，这个信息的长度可以通过[docId,freq]的数量计算出来，分词后的每一个term都会存这个信息，因此这个信息长度为sum(freq)。这里可以看到值为0。这个要分两部分看，二进制最后一位为0，表示没有后续信息，前7位为0，表示term在这个field原生值分词后的第一位。
到这里，breakpoint1的所有信息都分析完毕
breakpoint2
下标 postingsArray.textStarts postingsArray.intStarts postindesArray.byteStarts intPool bytePool
0 0 0 8 8 7
1 18 2 26 14 108
2 0 0 0 26 117
3 0 0 0 33 99
4 0 0 0 0 101
5 0 0 0 0 110
6 0 0 0 0 101
7 0 0 0 0 49
8 0 0 0 0 0
9 0 0 0 0 0
10 0 0 0 0 0
11 0 0 0 0 0
12 0 0 0 0 16
13 0 0 0 0 0
14 0 0 0 0 0
15 0 0 0 0 0
16 0 0 0 0 0
17 0 0 0 0 16
18 0 0 0 0 7
19 0 0 0 0 108
20 0 0 0 0 117
21 0 0 0 0 99
22 0 0 0 0 101
23 0 0 0 0 110
24 0 0 0 0 101
25 0 0 0 0 50
26 0 0 0 0 0
27 0 0 0 0 0
28 0 0 0 0 0
29 0 0 0 0 0
30 0 0 0 0 16
31 0 0 0 0 0
32 0 0 0 0 2
33 0 0 0 0 0
34 0 0 0 0 0
35 0 0 0 0 16
在这个断点，lucene2的termId为1。
textStarts[1] = 18，表示term字面值在bytePool中第18位开始，bytePool[18] = 7，表示term长度为7，bytePool中19~25为term字面值。
26~30是第一个slice，用来存储[docId,freq]，最后一位16表示没有向后延伸。
31~35是第二个slice，用来存储posi等信息，最后一位16表示没有向后延伸。
再来看intStarts[1] = 2，表示term相关信息在intPool中第2位开始，由于有posi信息，则在intPool中需要占两个位置。因此intPool[2]和intPool[3]分别表示这个term在bytePool中[docId,freq]和posi等信息的结束位置+1
byteStarts[1] = 26，表示term的[docId,freq]信息在bytePool中从第26个字节开始。
intPool[2] = 26，表示[docId,freq]在bytePool中结束位置 + 1 。为什么等于byteStarts[1]，原因同lucene1
intPool[3] = 33，表示pos等信息的结束位置为3。可以看到bytePool[31] = 0，表示在分词列表中出现的位置是0，后面不跟随其他信息，bytePool[32] = 2，表示在分词列表中出现的位置是1，后面不跟随其他信息。
到这里，breakpoint2的所有信息都分析完毕。
breakpoint3
下标 postingsArray.textStarts postingsArray.intStarts postindesArray.byteStarts intPool bytePool
0 0 0 8 8 7
1 18 2 26 14 108
2 36 4 41 28 117
3 0 0 0 56 99
4 0 0 0 41 101
5 0 0 0 47 110
6 0 0 0 0 101
7 0 0 0 0 49
8 0 0 0 0 0
9 0 0 0 0 0
10 0 0 0 0 0
11 0 0 0 0 0
12 0 0 0 0 16
13 0 0 0 0 0
14 0 0 0 0 0
15 0 0 0 0 0
16 0 0 0 0 0
17 0 0 0 0 16
18 0 0 0 0 7
19 0 0 0 0 108
20 0 0 0 0 117
21 0 0 0 0 99
22 0 0 0 0 101
23 0 0 0 0 110
24 0 0 0 0 101
25 0 0 0 0 50
26 0 0 0 0 2
27 0 0 0 0 2
28 0 0 0 0 0
29 0 0 0 0 0
30 0 0 0 0 16
31 0 0 0 0 0
32 0 0 0 0 0
33 0 0 0 0 0
34 0 0 0 0 0
35 0 0 0 0 51
36 0 0 0 0 4
37 0 0 0 0 116
38 0 0 0 0 101
39 0 0 0 0 115
40 0 0 0 0 116
41 0 0 0 0 0
42 0 0 0 0 0
43 0 0 0 0 0
44 0 0 0 0 0
45 0 0 0 0 16
46 0 0 0 0 4
47 0 0 0 0 0
48 0 0 0 0 0
49 0 0 0 0 0
50 0 0 0 0 16
51 0 0 0 0 2
52 0 0 0 0 0
53 0 0 0 0 2
54 0 0 0 0 4
55 0 0 0 0 2
56 0 0 0 0 0
57 0 0 0 0 0
58 0 0 0 0 0
59 0 0 0 0 0
60 0 0 0 0 0
61 0 0 0 0 0
62 0 0 0 0 0
63 0 0 0 0 0
64 0 0 0 0 17
65 0 0 0 0 0
66 0 0 0 0 0
67 0 0 0 0 0
在这个断点，lucene2是已经出现过的term，会把doc1的信息刷入bytePool，test是新的term，会单独存储并分配slic。
这个field总共会分出5个term：lucene2、lucene2、test、lucene2、lucene2。我们一个个分析信息是如何写入bytePool中的。
第一个lucene2
首先，会发现这是已有的term，termId = 1，addTerm时发现上次的docId是1，这次的docId是2，会先将上次doc的信息刷入bytePool。
上次的docId为1，由于termFreq = 2，需要跟随freq信息，因此将docId左移一位的值直接写入bytePool，然后写入freq，注意freq使用vInt写入的，但是此时freq = 2，只需要一个字节，所以写入的值是2.
向intPool查询当前可以写入的位置，intPool[1] = 26，因此第26个字节写入2表示docId，并且后面跟随freq，第27个字节写入2，表示freq = 2，并设置[docId,freq]结束位置为28。
然后，更新lastDocId等信息，并写入新的term posi等信息。
第二个lucene2
这个没什么好说的，就是正常的addTerm，更新freq，写入posi等信息，freq列表为下标31~34，值为0、2、0、2。
test
新的term出现了，和之前新term处理方式一样，写入term字面值（bytePool下标3640），申请[docId,freq]的splic（4145），申请posi等信息的slice并写入（46~50），写入的值为4，二进制最后一位为0表示不跟随其他信息，右移一位为2表示在分词链中第2个出现，因此posi结束位置为47，[doc,freq]信息还没刷入bytePool，结束位置为41。
第三个lucene2
正常执行addTerm方法，但是在写入posi等信息的时候，要写入的位置是35，这个位置值16表示这是slice的末尾，不能写入值。slice要扩容，并将3234的信息复制到新扩容的区域，重新申请slice得到的slice起始位置为51，将3235四个字节合并表示51，因此3234为0，35表示51，将原本32到34的值复制到5153，因此51~53的置为2、0、2，新的词在分词列表中处于第3位，上一个lucene2处于第1位，采用差值法，应当写入2，左移一位将末尾置0，表示后面没有其他信息，因此54位置写入的值为4。
第四个lucene2
同第二个lucene2，直接在55的位置写入2，将posi信息结束位置修改为53。
到这里，breakpoint3的所有信息都分析完毕
