安装 elasticsearch 韩语分析工具 openkoreantext-analyzer

给公司爬了大量的韩国的资料,因为看不懂韩文在爬取量上来之后发现有很多的重复数据,所以想用语系分析工具对韩语进行分词好去重。使用韩语分析器还有一个好处就是后续搜索时可以大大提升搜索的准确度

注意:

安装语言分析工具要选择对应的elasticsearch版本,目前openkoreantext-analyzer支持的最新版本是6.1

安装elasticsearch-6.1.1

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.1.tar.gz

安装elasticsearch-head

Running with built in server

git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install
npm run start
安装kibana

https://www.elastic.co/cn/downloads/past-releases/kibana-6-1-1

安装openkoreantext-analyzer

在安装好的elasticsearch-6.1.1目录下运行下面这个命令安装
bin/elasticsearch-plugin install https://github.com/open-korean-text/elasticsearch-analysis-openkoreantext/releases/download/6.1.1/elasticsearch-analysis-openkoreantext-6.1.1.2-plugin.zip

openkoreantext-analyzer git 地址

https://github.com/open-korean-text/elasticsearch-analysis-openkoreantext

posted @ 2020-10-24 11:50  bibicode  阅读(522)  评论(0编辑  收藏  举报