sphinx索引分析续
4.10 同义词文件/Synonym
from | => | to |
---|---|---|
AT &T | => | AT&T |
AT & T | => | AT & T |
standarten fuehrer | => | Standartenfuehrer |
standarten fuhrer | => | Standartenfuehrer |
Ms-Dos | => | MS-DOS |
MS DOS | => | MS-DOS |
5 算法
5.1 字典
double array trie 检索树
5.2 分词算法
5.3 文档id压缩 – Variable Byte Coding
5.4 索引存储 – 多路归并排序
7 创建索引过程
- 扫描配置文件。
- 创建程序内部数据结构,schema, mva attr等。
- 第一次遍历文档记录,连接数据库读取创建索引的记录。
- 循环分词创建spa, spp文件(临时格式)(如果inline模式只创建spp文件), 如果非inplace模式,那么创建对应 tmp->spa, tmp->spp对应文件。
- 第二次遍历文档记录,创建mva属性(非field mva attributes)。
- 多路归并创建spm文件。
- 更新并创建最终的spa文件,更新mva的位置信息到spa文件。
- 读取临时格式的spp文件,多路归并创建spi,spd,spp文件。
- 创建索引头文件sph。
- 更新索引创建后的信息(例如存储当前已经简历索引的)释放资源