distcp使用

distcp在hadoop1.x和2.x存在rpc版本兼容问题，故有rpc和http两种协议选择。

 

一，rpc协议：

单主机master8020端口：hdfs dfs -ls hdfs://cdh001:8020/user/hive

HA模式：  hdfs dfs -ls hdfs://nameservice1/user/hive

 

二，http协议分两种，webhdfs和httpfs：

1, webhdfs不支持HA，端口50070： 

hdfs dfs -ls hftp://cdh001:50070/user/hive

hdfs dfs -ls webhdfs://cdh001:50070/

 

2, httpfs:

指定httpfs服务器的IP端口： 

hdfs dfs -ls webhdfs://cdh002:14000/

 

 

三，webhdfs api操作hdfs文件

curl http://cdh002:14000/webhdfs/v1/user/hive/warehouse?op=liststatus&user.name=root

curl -i -X DELETE "http://cdh001:50070/webhdfs/v1/user/test?op=delete"

curl -i -X PUT "http://cdh001:50070/webhdfs/v1/user/test?op=MKDIRS"

 

hadoop distcp -pbugp hdfs://nameservice1:8020/user/hive/warehouse/js_xiudang.db/xd_js_despatch_sku_relation/date=${date} hdfs://10.205.130.32:8020/user/hive/warehouse/js_xiudang.db/xd_js_despatch_sku_relation/date=${2016-04-10}

 

 

hadoop distcp hdfs://master1:8020/foo/barhdfs://master2:8020/bar/foo