使用transporter同步MongoDB数据到es

由于logstash不支持MongoDB自定义主键导入es,所以使用transporter导入数据。

版本:es5.x,transporter0.25,

es6以上不允许一个索引下面多个type,transporter还不能支持6.x以上。

 

Linux环境运行:

wget https://github.com/compose/transporter/releases/download/v0.5.2/transporter-0.5.2-linux-amd64
mv transporter-*-linux-amd64 /usr/local/bin/transporter
chmod +x /usr/local/bin/transporter

transporter init mongodb elasticsearch //此步骤为初始化,会有一个pipeline.js

vim编辑该文件,
配置MongoDB路链接路径和es路径,执行./
transporter run ./pipeline.js 即可同步,

配置选项请参考:https://blog.csdn.net/zhujq_icode/article/details/81297388
 
 
posted @ 2019-07-17 13:42  地球上的我  阅读(879)  评论(0编辑  收藏  举报