elasticsearch5.0集群大数据量迁移方法及注意事项
当es集群的数据量较小的情况下elasticdump这个工具比较方便，但是当数据量达到一定级别比如上百G的时候，elasticdump速度就很慢了，此时我们可以使用快照的方法进行备份
elasticdump工具的使用可以参考 博文：elasticsearch5.0.1集群一次误删除kibana索引引发的血案 http://blog.csdn.net/reblue520/article/details/61925375
个人感觉这两个工具各有优缺点，和mysql的备份工具比起来：
elasticdump --> mysqldump# 都是逻辑备份需要将数据一条一条导出再导入，适合数据量小的场景
snapshot --> percona-xtrabackup # 物理备份，速度取决于磁盘IO能力，适合大数据量场景
快照方案的大概场景：
1.创建一个共性目录(新集群和老集群都可以访问这个目录)，创建一个快照将老集群写入到这个共享目录中
2.将快照恢复到新集群中(即共享目录)
快照方案主要试用于新老集群的迁移，并且最好两个集群在一个局域网中
一、使用snapshot恢复.kibana索引数据
1.修改配置文件：
vim elasticsearch.yml
path.repo: ["/data/bak"]
2.创建仓库
curl -XPUT http://10.25.177.47:9200/_snapshot/my_backup -d '
{
"type": "fs",
"settings": {
"location": "/data/bak",
"compress": true
}
}
'
# 返回true表示成功
{"acknowledged":true}
查看仓库
# curl -XGET 'http://10.25.177.47:9200/_snapshot/my_backup?pretty'
{
"my_backup" : {
"type" : "fs",
"settings" : {
"compress" : "true",
"location" : "/data/bak"
}
}
}
3、备份数据
curl -XPUT http://10.25.177.47:9200/_snapshot/my_backup/snapshot_20161207
执行上面的命令会快照ealsticsearch上所有的索引。
如果需要快照指定的索引
curl -XPUT http://10.25.177.47:9200/_snapshot/my_backup/snapshot_20170316 -d '
{
"indices": ".kibana"
}
'
{"accepted":true}
如果成功返回结果显示{"accepted":true}
4、查看备份
# curl -XGET http://10.25.177.47:9200/_snapshot/my_backup/snapshot_20170316?pretty
{
"snapshots" : [
{
"snapshot" : "snapshot_20170316",
"uuid" : "DhdKZkTaQ4G-eLAjJ68zGQ",
"version_id" : 5000199,
"version" : "5.0.1",
"indices" : [
".kibana"
],
"state" : "SUCCESS",
"start_time" : "2017-03-16T09:56:02.075Z",
"start_time_in_millis" : 1489658162075,
"end_time" : "2017-03-16T09:56:02.154Z",
"end_time_in_millis" : 1489658162154,
"duration_in_millis" : 79,
"failures" : [ ],
"shards" : {
"total" : 1,
"failed" : 0,
"successful" : 1
}
}
]
}
也可以使用下面的命令查看快照的状态
# curl -XGET http://10.25.177.47:9200/_snapshot/my_backup/snapshot_20170316/_status?pretty
{
"snapshots" : [
{
"snapshot" : "snapshot_20170316",
"repository" : "my_backup",
"uuid" : "DhdKZkTaQ4G-eLAjJ68zGQ",
"state" : "SUCCESS",
"shards_stats" : {
"initializing" : 0,
"started" : 0,
"finalizing" : 0,
"done" : 1,
"failed" : 0,
"total" : 1
},
"stats" : {
"number_of_files" : 4,
"processed_files" : 4,
"total_size_in_bytes" : 48362,
"processed_size_in_bytes" : 48362,
"start_time_in_millis" : 1489658162100,
"time_in_millis" : 41
},
"indices" : {
".kibana" : {
"shards_stats" : {
"initializing" : 0,
"started" : 0,
"finalizing" : 0,
"done" : 1,
"failed" : 0,
"total" : 1
},
"stats" : {
"number_of_files" : 4,
"processed_files" : 4,
"total_size_in_bytes" : 48362,
"processed_size_in_bytes" : 48362,
"start_time_in_millis" : 1489658162100,
"time_in_millis" : 41
},
"shards" : {
"0" : {
"stage" : "DONE",
"stats" : {
"number_of_files" : 4,
"processed_files" : 4,
"total_size_in_bytes" : 48362,
"processed_size_in_bytes" : 48362,
"start_time_in_millis" : 1489658162100,
"time_in_millis" : 41
}
}
}
}
}
}
]
}
5、删除备份
curl -XDELETE http://10.25.177.47:9200/_snapshot/my_backup/snapshot_20170316
{"acknowledged":true}
6、恢复备份测试
①删除.kibana索引，可以看到报表已经没有了
curl -XDELETE http://10.25.177.47:9200/.kibana
{"acknowledged":true}
②关闭.kibana索引
curl -XPOST http://10.25.177.47:9200/.kibana/_close
{"acknowledged":true}
③使用快照恢复
curl -XPOST http://10.25.177.47:9200/_snapshot/my_backup/snapshot_20170316/_restore
{"accepted":true}
curl '10.25.177.47:9200/_cat/indices?v'
可以看到成功恢复
二、生产环境实战(当老集群磁盘空间不足的情况)
1）旧的集群备份出来的数据，要拷贝到新集群中。
解决两个问题：
1.旧集群没有足够的空间存储这些备份出来的数据
2.备份出来都需要拷贝到新的集群中，此处想到一个方法，通过nfs或者sshfs将新集群机器的目录远程挂载(mount)到旧集群机器上。
2）挂载目录，2.1）和2.2）可以任选一种方式
2.1）使用sshfs进行挂载：
// 在每台机器上安装sshfs
yum install fuse sshfs -y
// 每台机器上创建Mount共享目录
mkdir /data/backup_es
// 旧集群的每台机器上挂载共享目录(分别挂载了新机器的/opt/data07目录到/opt/backup_es)
sshfs root@192.168.2.1:/opt/data07 /opt/backup_es -o allow_other
// 测试运行ES的用户是否有对共享目录的写权限
sudo -u elastic touch /opt/backup_es
// 在旧机器上将共享目录的权限付给ES的运行用户
chown elastic:elastic -R /opt/backup_es
2.2）使用Mount nfs进行挂载(推荐)：
// 在新集群的机器上(10.25.177.47)添加共享的文件夹和客户端可以访问的IP地址
创建目录：
mkdir /data/voice
vim /etc/exports
/data/voice *(insecure,rw,no_root_squash,sync,anonuid=500,anongid=500)
// 查看共享文件夹
yum install -y exportfs
exportfs -rv
// 重启启动新集群机器的NFS服务
systemctl restart nfs
// 旧集群的每台机器上创建共享目录
mkdir /data/backup_es
// 旧集群每一台服务器上进行Mount挂载
mount -t nfs 10.25.177.47:/data/voice /data/backup_es -o proto=tcp -o nolock
列出nfs服务端共享的目录:
# showmount -e 10.25.177.47
Export list for 10.25.177.47:
/data/voice *
报错：
mount: wrong fs type, bad option, bad superblock on 10.25.177.47:/opt/data07,
missing codepage or helper program, or other error
(for several filesystems (e.g. nfs, cifs) you might
need a /sbin/mount.<type> helper program)
In some cases useful info is found in syslog - try
dmesg | tail or so.
解决：
yum install -y nfs-utils
报错：
mount.nfs: access denied by server while mounting 10.25.177.47:/data/voice
解决：
nfs服务端
vim /etc/sysconfig/nfs
修改如下：
RPCNFSDARGS="-N 2 -N 3"
----->启用
# Turn off v4 protocol support
RPCNFSDARGS="-N 4" ---->启用
重启生效
systemctl restart nfs
// 在旧机器上将共享目录的权限付给ES的运行用户
chown yunva:yunva -R /data/backup_es
3）创建ES仓库
3.1创建ES仓库my_backup
修改配置文件：
vim elasticsearch.yml
# 添加如下配置(需要在旧集群的每个节点上添加)：
path.repo: ["/data/backup_es"]
创建快照仓库命令：
curl -XPUT http://10.26.241.237:9200/_snapshot/my_backup -d '
{
"type": "fs",
"settings": {
"location": "/data/backup_es",
"compress": true
}
}
'
{"acknowledged":true}
查看仓库
# curl -XGET 'http://10.26.241.237:9200/_snapshot/my_backup?pretty'
{
"my_backup" : {
"type" : "fs",
"settings" : {
"compress" : "true",
"location" : "/data/backup_es"
}
}
}
4）创建快照备份
4.1创建所有索引的快照
curl -XPUT http://10.26.241.237:9200/_snapshot/my_backup/snapshot_voice20170316
执行上面的命令会快照ealsticsearch上所有的索引。
4.2创建指定索引的快照
curl -XPUT http://10.26.241.237:9200/_snapshot/my_backup/snapshot_voice20170316 -d '
{
"indices": "voice:mic:lose"
}
'
如果成功返回结果显示{"accepted":true}
4、查看备份
# curl -XGET http://10.26.241.237:9200/_snapshot/my_backup/snapshot_voice20170316?pretty
{
"snapshots" : [
{
"snapshot" : "snapshot_voice20170316",
"uuid" : "QBxu1worT3KDMf9GdG8svA",
"version_id" : 5000199,
"version" : "5.0.1",
"indices" : [
"voice:mic:lose"
],
"state" : "SUCCESS",
"start_time" : "2017-03-16T12:07:42.846Z",
"start_time_in_millis" : 1489666062846,
"end_time" : "2017-03-16T12:08:03.831Z",
"end_time_in_millis" : 1489666083831,
"duration_in_millis" : 20985,
"failures" : [ ],
"shards" : {
"total" : 5,
"failed" : 0,
"successful" : 5
}
}
]
}
也可以使用下面的命令查看快照的状态
# curl -XGET http://10.25.177.47:9200/_snapshot/my_backup/snapshot_voice20170316/_status?pretty
可以看到ES会同时进行几个分片的备份，而且显示备份的数据情况。
通过观察可以看到，旧集群上共享的两个目录/data/backup_es会均分备份出来的数据
{
"snapshots" : [
{
"snapshot" : "snapshot_voice20170316",
"repository" : "my_backup",
"uuid" : "42WjLbCLQwadjBeMTK0p2w",
"state" : "SUCCESS",
"shards_stats" : {
"initializing" : 0,
"started" : 0,
"finalizing" : 0,
"done" : 1,
"failed" : 0,
"total" : 1
},
"stats" : {
"number_of_files" : 107,
"processed_files" : 107,
"total_size_in_bytes" : 943093922,
"processed_size_in_bytes" : 943093922,
"start_time_in_millis" : 1489665958527,
"time_in_millis" : 52189
},
"indices" : {
"voice:mic:lose" : {
"shards_stats" : {
"initializing" : 0,
"started" : 0,
"finalizing" : 0,
"done" : 1,
"failed" : 0,
"total" : 1
},
"stats" : {
"number_of_files" : 107,
"processed_files" : 107,
"total_size_in_bytes" : 943093922,
"processed_size_in_bytes" : 943093922,
"start_time_in_millis" : 1489665958527,
"time_in_millis" : 52189
},
"shards" : {
"0" : {
"stage" : "DONE",
"stats" : {
"number_of_files" : 107,
"processed_files" : 107,
"total_size_in_bytes" : 943093922,
"processed_size_in_bytes" : 943093922,
"start_time_in_millis" : 1489665958527,
"time_in_millis" : 52189
}
}
}
}
}
}
]
}
6）耐心等待直到所有的的备份都完成。
备份完成后，查看旧集群每台机器的/data/backup_es目录，查看备份出的数据。
在所有旧集群服务器上取消挂载 umount /data/backup_es
7）在新集群中恢复
// 在新集群每台机器上将共享目录的权限付给ES的运行用户
chown yunva:yunva -R /data/voice
// 停止ES，在新集群的每台服务器上都添加设置elasticsearch.yml的参数
path.repo: ["/data/voice"]
8）恢复备份
①删除voice:mic:lose索引，可以看到节点已经没有了
curl -XDELETE http://10.25.177.47:9200/voice:mic:lose
{"acknowledged":true}
# curl '10.25.177.47:9200/_cat/indices?v'
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open .kibana OzGTpr9TSN6WGP2ynXBmaQ 1 1 40 0 47.2kb 47.2kb
# curl '10.25.177.47:9200/_cat/indices?v'
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open voice:mic:lose 5vyq-0VYSnqfV9fN9dTNmQ 1 1 3070979 0 899.4mb 899.4mb
yellow open .kibana OzGTpr9TSN6WGP2ynXBmaQ 1 1 40 0 47.2kb 47.2kb
// 启动ES，在新集群创建仓库
curl -XPUT http://10.25.177.47:9200/_snapshot/my_backup -d '
{
"type": "fs",
"settings": {
"location": "/data/voice",
"compress": true
}
}
'
8）在新集群中恢复数据
// 使用RESTful API进行备份的恢复
使用快照恢复
curl -XPOST http://10.25.177.47:9200/_snapshot/my_backup/snapshot_voice20170316/_restore
{"accepted":true}
// 查看恢复的状态
curl -XGET http://10.25.177.47:9200/_snapshot/my_backup/snapshot_voice20170316/_status
curl '10.25.177.47:9200/_cat/indices?v'
9）耐心等待，直至恢复完成。
