Elasticsearch分词

分词器介绍

　　Elasticsearch作为全文检索服务是需要将输入的搜索关键字，也就是字符串进行一定规则的拆分，而拆分搜索关键字为一个个词，这部分功能是有ES的分词器来完成的。分词器（analyzer）接受一个字符串作为输入，将这个字符串拆分成独立的词或语汇单元（token）（可能会丢弃一些标点符号等字符），然后输出一个语汇单元流（token stream）。ES内部也集成了分词器。

　　ES中文分词器有常见四种

　　　　1. Standard：ES默认的分词器，将词汇单元转换为小写形式，并且去除停用词（在信息检索中，为节省存储空间和提高搜索效率，在处理自然语言数据或文本之前或之后会自动过滤掉某些字或词）、标点符号，支持中文（单字切分）。

　　　　2. Simple：通过非字母字符来分割文本信息，然后将词汇单元统一转换为小写形式，会去除掉数字类型的字符。

　　　　3. Whitespace：仅仅是去除空格、不支持中文，对分割的词汇单元不做标准化的处理，也不会将字符转换成小写。

　　　　4. language：特定语言分词器，但是不支持中文。

IKAnalyzer分词器的安装及使用

　　我们先使用Kibana来查看分词点效果。

　　　指定分词器进行分词

POST _analyze
{
  "analyzer": "standard", #指定分词方式
  "text":"hello 中国"
}

　　　　使用POST方式向ES发起分词请求，下图使用的是Standard分词方式，他可以支持中英文。

　　上面结果看到将中文的部分按照单个字为最小词元来拆分，这个分词效果并不好，所以我们使用ES中一个分词器iK分词器，这个分词器是目前支持中文比较好的第三方分词器插件。

　　 ik分词器ES插件地址github地址：https://github.com/medcl/elasticsearch-analysis-ik

　　 下载安装

从这个Releases点击进去，找到适合当前适合ES的版本。

　　我当前本地安装的ES版本是5.2.2，所以我下载就是5.2.2这个版本

　　安装过程

1. 下载
   wget -c https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.2/elasticsearch-analysis-ik-5.5.2.zip   #使用断点续传 

2. 解压unzip elasticsearch-analysis-ik-5.2.2.zip -d /usr/local/src/elasticsearch-5.5.2/plugins/ik #在ES插件目录下创建ik目录 并将ik插件解压在ik目录下

3. 查看解压后目录内容
commons-codec-1.9.jar
commons-logging-1.2.jar
config
elasticsearch-analysis-ik-5.2.2.jar
httpclient-4.5.2.jar
httpcore-4.4.4.jar
plugin-descriptor.properties

解压的目录如果错误会提示类似下面这种错误