使用transporter同步MongoDB数据到es
由于logstash不支持MongoDB自定义主键导入es,所以使用transporter导入数据。
版本:es5.x,transporter0.25,
es6以上不允许一个索引下面多个type,transporter还不能支持6.x以上。
Linux环境运行:
wget https://github.com/compose/transporter/releases/download/v0.5.2/transporter-0.5.2-linux-amd64
mv transporter-*-linux-amd64 /usr/local/bin/transporter
chmod +x /usr/local/bin/transporter
transporter init mongodb elasticsearch //此步骤为初始化,会有一个pipeline.js
vim编辑该文件,
配置MongoDB路链接路径和es路径,执行./transporter run ./pipeline.js 即可同步,
配置选项请参考:https://blog.csdn.net/zhujq_icode/article/details/81297388