搜索引擎学习（四）中文分词器
一、简介
分词原理
- Reader读取数据流
- 数据经过第一个分词器将大写转换小写
- 数据经过第二个分词器根据空格分割成一个一个的单词
- 数据经过第三个分词器把标点符号，介词等剔除
- 经过三次过滤，生成若干语汇单元
常见的分词器（中文分词场景不推荐用）
StandardAnalyzer（官方推荐的分词器）：英文分词效果比较好，无法对中文进行正确分词。(单字分词，对中文分词会一个字一个字的分)
CJKAnalyzer（中日韩联合分词器）：二分法分词，按两个字进行切分
smartChineseAnalyzer：对中文支持较好，但扩展性差，扩展词库，禁用词库和同义词库等不好处理
第三方中文分词器（中文支持效果比较好，中文分词场景推荐使用）
IK Analyzer：目前较为推荐的中文分词器
二、IK Analyzer分词器
使用方式
PS：搜索时使用的分词器要与索引时使用的分词器一致！
