使用elasticdump导入导出数据
一、安装elasticdump
终端中输入
1
|
npm install elasticdump -g |
-g表示全局可用,直接在终端输入 elasticdump --version,出现版本信息即表示安装成功,如下
1
2
|
C:\Users\T 470 s>elasticdump --version 6.3 . 3 |
二、常用的导入导出方法
1、将索引中的数据导出到本地
1
|
elasticdump --input=http://localhost: 9200 /demo --output=D:/ES/date/demo.json |
其中,demo是索引。
2、将本地数据导入es中
1
|
elasticdump --input=D:/ES/date/demo.json --output=http://localhost: 9200 /demo 1 |
3、将es导入另一个es
1
|
elasticdump --input=http://ip: 9200 /demo --output=http:// 127.0 . 0.1: 9200 /demo |
4、含有分词的导入
转自:https://blog.csdn.net/Wang_Ocean/article/details/90267797
前文:公司正在运行的项目需要搭一个测试环境,需要将正式环境的ES里面存储的数据导入到该测试环境的ES服务器里面。使用本地的windows系统来实现。
1,环境准备
因为elaticdump 依赖于nodejs的环境,需要下载nodejs的相关依赖环境,去nodejs官网直接安装包,我下载的是msi安装程序,安装好之后会直接配置好环境变量,在cmd或者Powershell直接下载elaticdump 即可:
1
|
npm install elasticdump |
2,生产环境导出到测试环境
1)导出分词器,导出分词器的时候要特别注意,我们只能根据索引单个导入,不能全部导出,全部导出会出现索引不存在的错误:
1
|
elasticdump --input=http://ip: 9200 --output=http:// 127.0 . 0.1: 9200 / --type=analyzer -- all =true |
该全部导出导入的命令会如下错误:
1
|
Error Emitted => { "root_cause" :[{ "type" : "action_request_validation_exception" , "reason" : "Validation Failed: 1: index is missing;" }], "type" : "action_request_validation_exception" , "reason" : "Validation Failed: 1: index is missing;" } |
所以后面改为按索引分别导入则可以:
1
2
3
|
elasticdump --input=http://ip: 9200 /applog --output=http:// 127.0 . 0.1: 9200 /applog --type=analyzer elasticdump --input=http://ip: 9200 /cms_article --output=http:// 127.0 . 0.1: 9200 /cms_article --type=analyzer elasticdump --input=http://ip: 9200 /followup --output=http:// 127.0 . 0.1: 9200 /followup --type=analyzer |
坑:再倒入的时候我并不知道到底有多少个索引,如何确定索引的名称?
这里我是直接先导出所有映射mapping到本地,然后找到索引的名称再到各导入分词:
1
|
elasticdump --input=D:/mapping.json --output=http:// 127.0 . 0.1: 9200 / -- all =true --type=mapping |
疑惑:我这里的索引目前只有三个,如果是多个怎么处理?超过100?
2)导出映射mapping
映射mapping可以直接全部导入导出,直接命令:
1
|
elasticdump --input=http://ip: 9200 / --output=http:// 127.0 . 0.1: 9200 / -- all =true --type=mapping |
3)导出全部数据data
每个索引下的数据可以全部一次性导入:
1
|
elasticdump --input=http://ip: 9200 / --output=http:// 127.0 . 0.1: 9200 / -- all =true --type=data |
3,总结
1),如果不导入analyzer会怎么样?
我试过如果只导入data和mapping,则数据会导入,mapping会发生变化,最终的结果没有分词的效果。
2),如果不导入mapping也不会有分词的效果。
3),顺序导入最好按照:analyzer,mapping和data这个顺序来,防止出现分词失效的结果。