安装 elasticsearch 韩语分析工具 openkoreantext-analyzer
给公司爬了大量的韩国的资料,因为看不懂韩文在爬取量上来之后发现有很多的重复数据,所以想用语系分析工具对韩语进行分词好去重。使用韩语分析器还有一个好处就是后续搜索时可以大大提升搜索的准确度
注意:
安装语言分析工具要选择对应的elasticsearch版本,目前openkoreantext-analyzer支持的最新版本是6.1
安装elasticsearch-6.1.1
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.1.tar.gz
安装elasticsearch-head
Running with built in server
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install
npm run start
安装kibana
https://www.elastic.co/cn/downloads/past-releases/kibana-6-1-1
安装openkoreantext-analyzer
在安装好的elasticsearch-6.1.1目录下运行下面这个命令安装
bin/elasticsearch-plugin install https://github.com/open-korean-text/elasticsearch-analysis-openkoreantext/releases/download/6.1.1/elasticsearch-analysis-openkoreantext-6.1.1.2-plugin.zip
openkoreantext-analyzer git 地址
https://github.com/open-korean-text/elasticsearch-analysis-openkoreantext