es之IK分词器
使用默认的分词器
curl -XGET 'http://hadoop01:9200/_analyze?pretty&analyzer=standard' -d '我爱中国'
curl -XGET 'http://hadoop01:9200/_analyze?pretty&analyzer=simple' -d '我爱中国'
curl -XPUT 'http://hadoop01:9200/test/class/1' -d '{"title" : "我爱中国"}'
去hadoop01:9100查看当前索引数据：
然后使用命令查询：
curl -XGET 'hadoop01:9200/test/class/_search?pretty' -d '
{ "query": { "term": {"title": "我爱中国"}}}'
结果：
这说明分词器出了问题！然后我们可以通过分析器提供的接口去做查询，查看一下当前的分词器是如何进行分词的：
curl -XGET 'hadoop01:9200/test/_analyze?field=title?pretty' -d '我爱中国'
通过图片我们可以看到，我们的数据经过分词器后，会将数据切割成---我、爱、中、国；如果单独去查询每一个字段，都是可以查询到的：
整体查询确查询不到；这就是默认的分词器存在的弊端；
2：IK分词器
2.1：安装
1）：下载
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.2/elasticsearch-analysis-ik-5.5.2.zip
2）：下载好了之后解压，将解压后的文件夹放在elasticsearch目录下的plugins目录下，并重命名为analysis-ik【发送到所有机器(本课程提供安装包)】
3）：重启elasticsearch
ik带有两个分词器:
• ik_max_word ：会将文本做最细粒度的拆分；尽可能多的拆分出词语
• ik_smart：会做最粗粒度的拆分；已被分出的词语将不会再次被其它词语占有
2.2：使用IK分词
1）：构建索引，指定IK分词器
curl -XPUT 'http://hadoop01:9200/iktest?pretty' -d '{
"settings" : {
"analysis" : {
"analyzer" : {
"ik" : {
"tokenizer" : "ik_max_word"
}
}
}
},
"mappings" : {
"article" : {
"dynamic" : true,
"properties" : {
"subject" : {
"type" : "string",
"analyzer" : "ik_max_word"
}
}
}
}
}'
2）：插入数据
curl -XPOST http://hadoop01:9200/iktest/article/_bulk?pretty -d '
{ "index" : { "_id" : "1" } }
{"subject" : "＂闺蜜＂崔顺实被韩检方传唤 韩总统府促彻查真相" }
{ "index" : { "_id" : "2" } }
{"subject" : "韩举行＂护国训练＂ 青瓦台:决不许国家安全出问题" }
{ "index" : { "_id" : "3" } }
{"subject" : "媒体称FBI已经取得搜查令 检视希拉里电邮" }
{ "index" : { "_id" : "4" } }
{"subject" : "村上春树获安徒生奖 演讲中谈及欧洲排外问题" }
{ "index" : { "_id" : "5" } }
{"subject" : "希拉里团队炮轰FBI 参院民主党领袖批其”违法”" }
'
3）：查询测试
curl -XPOST http://hadoop01:9200/iktest/article/_search?pretty -d'
{
"query" : { "match" : { "subject" : "希拉里和韩国" }},
"highlight" : {
"pre_tags" : ["<font color='red'>"],
"post_tags" : ["</font>"],
"fields" : {
"subject" : {}
}
}
}
'
2.3：热词更新
现在网络热词很多，每隔一段时间就会出现网红热词；但是如果直接使用IK分词，是识别不了这些词的；
curl -XGET 'http://hadoop01:9200/_analyze?pretty&analyzer=ik_max_word' -d '
王者荣耀'
返回结果：
IK并没有识别出网红的词汇；ik 的主词典中没有【老铁、没毛病】词，所以被拆分了。
修改 IK 的配置文件 ：ES 目录/export/servers/elasticsearch-5.5.2/plugins/analysis-ik/config/IKAnalyzer.cfg.xml
修改配置如下:
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties> <comment>IK Analyzer 扩展配置</comment> <!--用户可以在这里配置自己的扩展字典 --> <entry key="ext_dict">custom/my.dic</entry> <!--用户可以在这里配置自己的扩展停止词字典--> <entry key="ext_stopwords">ext_stopword.dic</entry> <!--用户可以在这里配置远程扩展字典 --> <entry key="remote_ext_dict">192.168.0.1/stopworld.di</entry> <!--用户可以在这里配置远程扩展停止词字典--> <!-- <entry key="remote_ext_stopwords">words_location</entry> --> </properties>
在custom/my.dic中添加：老铁、没毛病
然后重启es；在次执行：
curl -XGET 'http://hadoop01:9200/_analyze?pretty&analyzer=ik_max_word' -d '老铁没毛病，双击666'
但是，上面的操作是需要进行重启的，上面的步骤只是更新词库，并不是所谓的热更新；所谓的热更新词库，是要在不重启es的前提下完成的；
