HIVE跨集群迁移

合集 - 大数据(9)

1.hdfs清空回收站2023-02-282.HBase基本知识介绍及典型案例分析2023-05-043.ES定期清理日志2023-05-23

4.HIVE跨集群迁移2023-05-17

5.HDFS跨集群迁移2023-05-086.Hbase跨集群迁移以及常用命令2023-05-087.kibana启动失败Kibana server is not ready yet，ES后台日志报错：NoShardAvailableActionException2023-06-258.Elasticsearch数据迁移工具之ESM2023-03-239. logstash+Elasticseach单节点 让logstash生成单副本索引 2023-07-11

收起

查看mysql使用端口

?

1 2	ps -ef | grep mysql ss -antp | grep [ps查出来的pid]

停止HIVE写入服务

1. 创建备份路径

?

1	mkdir -p /root/hivebackup/

2. 执行备份数据库命令：(在目标集群执行)

?

1	mysqldump -uroot -pPassword -h 1.1.1.1 -P 3306 --databases hive_prode > /root/jws/hivebackup/hive_prode.sql

3. 将备份数据集拷贝至目标集群，数据包含mysqldump备份的数据和外联HDFS实际使用存储的目录

?

1 2 3 4 5 6 7 8

查询外部使用的路径： mysql密码路径文件：cat /etc/ambari-server/conf/password.dat [root@devtest1 hivebackup]# mysql -uroot -pPassword -h 1.1.1.1 -P 3306 mysql> show databases; mysql> use hive_prode; mysql> select t.tbl_name,s.location from TBLS t left join SDS s on t.sd_id = s.sd_id where tbl_type='EXTERNAL_TABLE';   HIVE数据目录：hdfs://mycluster/warehouse/tablespace/managed/hive

?

1	su hdfs nohup hadoop distcp -prugpb hdfs://1.1.1.1:8020/warehouse/tablespace/managed/hive/* hdfs://1.1.1.2:8020/warehouse/tablespace/managed/hive/ &

4. 恢复数据

?

1	mysql -h 1.1.1.2 -uroot -P3306 -pPassword < /root/jws/hivebackup/hive_prode.sql