Elasticsearch数据迁移工具之ESM

Elasticsearch数据迁移工具之ESM

ESM版本：0.5.0
上传esm的tar包并解压
查看一下帮助文档并确认安装成功
ESM各个参数用法简介

在使用Elasticsearch的时候不可避免的会涉及到集群的升级或者是业务的迁移等场景，此时就需要对数据进行迁移，es数据迁移的工具有很多比如reindex、esm、elasticdump、logstash和快照等方式。
使用ESM的优势是针对少数业务迁出，索引和数据相对较少，不需要修改ES配置文件不用重启集群，降低数据迁移对集群其他业务的影响的背景下相对来说速度较快的一种方案。
有数据测试表示迁移100W条数据ESM的速度仅次于reindex，接近logstash的两倍之快，当然这些与网络环境和硬件有必然的关系，我们在这里仅做参考即可。

将索引导出到本地 -o将源索引的文档输出到本地文件。
./bin/esm -s http://192.168.1.20:9200 -m elastic:123456 -o wsq_json.out -x wsq_esm_inbdex

将下载到本地的索引再进行导入。
./bin/esm -i wsq_json.out -n user:paswd -d http://192.168.1.20:9200

导入数据则会使用es默认分片数进行创建索引。同时也验证了该工具离线本地迁移的可行性。

使用ESM的时候支持指定集群任意节点，所以要选择相对来说压力较小的节点作为数据迁移的源节点较好。

===========华为云不同版本间索引同步数据（目前华为后台工具不能跨版本间同步数据）：
elasticdump --input http://admin:123456@ip:9200/sensitive_1_v15 --output http://admin:123123@ip2:9200/sensitive_1_v14 --type=settings
elasticdump --input http://admin:123456@ip:9200/sensitive_1_v15 --output http://admin:123123@ip2:9200/sensitive_1_v14 --type=mapping
elasticdump --input http://admin:123456@ip:9200/sensitive_1_v15 --output http://admin:123123@ip2:9200/sensitive_1_v14 --limit=10000 --type=data