生产调优7 HDFS-集群迁移

目录

• HDFS-集群迁移
  • Apache和Apach集群间数据拷贝
    • scp实现两个远程主机之间的文件复制
    • distcp命令实两个Hadoop集群之间的递归数据复制

HDFS-集群迁移

Apache和Apach集群间数据拷贝

scp实现两个远程主机之间的文件复制

本机的文件push出去

scp -r hello.txt root@hadoop102:/user/ranan/hello.txt

把其他主机的文件pull进来

scp -r root@hadoop102:/user/ranan/hello.txt hello.txt //

通过本地主机中转实现两个远程主机的文件复制，适用于两个远程主机之前ssh没有配置的情况

scp -r root@hadoop102:/user/ranan/hello.txt root@hadoop103:/user/ranan

distcp命令实两个Hadoop集群之间的递归数据复制

hadoop中类似与scp的命令
假设hadoop102 hadoop103 hadoop104一个集群，NameNode在hadoop102
假设hadoop105 hadoop106 hadoop107一个集群，NameNode在hadoop105

# 这里的地址都是NameNode的地址，hadoop102是源地址 hadoop105是目标地址
hadoop distcp hdfs://hadoop102:8020/user/atguigu/hello.txt  hdfs://hadoop105:8020/user/atguigu/hello.txt