HDFS中两个集群数据文件拷贝的方式
在不同的两个HDFS集群中拷贝数据,我们可以使用distcp,集群之间拷贝数据的正确姿势是:
hadoop distcp hdfs://master1:9999/foo/bar hdfs://master2:9999/bar/foo
上面的意思是将集群master1上的文件foo/bar
拷贝到master2集群上的bar/foo
目录下
hadoop distcp hdfs://master1:9999/foo/a hdfs://master1:9999/foo/b hdfs://master2:9999/bar/foo
上面的意思是将master1集群上的两个文件foo/a
和foo/b
拷贝到master2集群上的文件bar/foo
中去
详细参考Hadoop的官网:http://hadoop.apache.org/docs/r2.7.5/hadoop-distcp/DistCp.html