简单总结下跨集群访问的多种方式。

跨集群访问HDFS

直接给出HDFS URI

我们平常执行hadoop fs -ls /之类的操作时，其实是读取的core-site.xml中fs.defaultFS的配置，去连接这个配置指定的NameNode。
其实可以直接给出完整的URI，即可访问不同的hdfs：

hadoop@inspur116:~/jxy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop fs -ls hdfs://hadoop40.photo.163.org:8020/user
Found 17 items
drwx------   - ad            hdfs              0 2015-02-09 14:48 hdfs://hadoop40.photo.163.org:8020/user/ad
drwxr-x---   - click_tracker hdfs              0 2015-01-22 16:09 hdfs://hadoop40.photo.163.org:8020/user/click_tracker
drwxr-xr-x   - comic         hdfs              0 2015-02-10 14:48 hdfs://hadoop40.photo.163.org:8020/user/comic
drwxr-x---   - easegame      hdfs              0 2015-01-13 14:49 hdfs://hadoop40.photo.163.org:8020/user/easegame
 
hadoop@inspur116:~/jxy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop fs -ls hdfs://backend3.photo.163.org:8020/user
Found 40 items
drwx------   - ad            hdfs            0 2015-01-19 13:35 hdfs://backend3.photo.163.org:8020/user/ad
drwx------   - azkaban       hdfs            0 2015-02-02 10:38 hdfs://backend3.photo.163.org:8020/user/azkaban
drwxr-x---   - blog          hdfs            0 2015-02-02 10:38 hdfs://backend3.photo.163.org:8020/user/blog
drwx------   - censor        hdfs            0 2015-02-10 03:00 hdfs://backend3.photo.163.org:8020/user/censor

这种方式缺点在于要知道NN的地址。如果不开启HA的话没什么问题，但开启HA后，NN的状态可能会在active和standby之间变化。如果去连接standby NN就会抛出异常。
而且这种写法也让HA失去意义了。我见过一些奇葩的用户，程序里直接写死了NN的IP地址。。。那还要HA干什么。

在客户端配置多个HA HDFS

其实就是HDFS Federation的配置。
关于HA的配置，其实完全是客户端的，跟服务端没关系，见HA集群中如何判断ActiveNN。
所以可以修改客户端的hdfs-site.xml，修改以下配置：

<!-- hz-cluster1是本来就有的，加一个hz-cluster2 -->
<property>
    <name>dfs.nameservices</name>
    <value>hz-cluster1,hz-cluster2</value>
</property>
<!-- 以下是新增的hz-cluster2的HA配置 -->
<property>
    <name>dfs.ha.namenodes.hz-cluster2</name>
    <value>nn1,nn2</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.hz-cluster2.nn1</name>
    <value>hadoop40.photo.163.org:8020</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.hz-cluster2.nn2</name>
    <value>hadoop41.photo.163.org:8020</value>
</property>
<property>
    <name>dfs.namenode.http-address.hz-cluster2.nn1</name>
    <value>hadoop40.photo.163.org:50070</value>
</property>
<property>
    <name>dfs.namenode.http-address.hz-cluster2.nn2</name>
    <value>hadoop41.photo.163.org:50070</value>
</property>
<property>
    <name>dfs.client.failover.proxy.provider.hz-cluster2</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

然后即可访问多个集群：

# fs.defaultFS是hz-cluster1，所以不指定完整URI时，访问hz-cluster1
hadoop@inspur116:~/jxy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop fs -ls /user
Found 40 items
drwx------   - ad            hdfs            0 2015-01-19 13:35 /user/ad
drwx------   - azkaban       hdfs            0 2015-02-02 10:38 /user/azkaban
drwxr-x---   - blog          hdfs            0 2015-02-02 10:38 /user/blog
drwx------   - censor        hdfs            0 2015-02-10 03:00 /user/censor
 
hadoop@inspur116:~/jxy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop fs -ls hdfs://hz-cluster1/user
Found 40 items
drwx------   - ad            hdfs            0 2015-01-19 13:35 hdfs://hz-cluster1/user/ad
drwx------   - azkaban       hdfs            0 2015-02-02 10:38 hdfs://hz-cluster1/user/azkaban
drwxr-x---   - blog          hdfs            0 2015-02-02 10:38 hdfs://hz-cluster1/user/blog
drwx------   - censor        hdfs            0 2015-02-10 03:00 hdfs://hz-cluster1/user/censor
 
hadoop@inspur116:~/jxy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop fs -ls hdfs://hz-cluster2/user
Found 17 items
drwx------   - ad            hdfs              0 2015-02-09 14:48 hdfs://hz-cluster2/user/ad
drwxr-x---   - click_tracker hdfs              0 2015-01-22 16:09 hdfs://hz-cluster2/user/click_tracker
drwxr-xr-x   - comic         hdfs              0 2015-02-10 14:48 hdfs://hz-cluster2/user/comic
drwxr-x---   - easegame      hdfs              0 2015-01-13 14:49 hdfs://hz-cluster2/user/easegame

好处就是利用了HA，一台NN挂掉时不用改配置。

利用ViewFs

官方文档

这个功能本来是用于HDFS Federation的，但也可以用于多集群。
类似linux的mount命令，将多个hdfs挂载到不同的目录。在hdfs-site.xml中加上相关配置：

<property>
    <name>fs.viewfs.mounttable.dummyCluster.link./binjiang</name>
    <value>hdfs://hz-cluster1/</value>
    <!-- 这里用了HA的配置，也可以写死NN地址 -->
</property>
<property>
    <name>fs.viewfs.mounttable.dummyCluster.link./xiaoshan</name>
    <value>hdfs://hz-cluster2/</value>
</property>

修改core-site.xml的配置：

<property>
    <name>fs.defaultFS</name>
    <value>viewfs://dummyCluster</value>
</property>

然后即可访问多个集群：

hadoop@inspur116:~/jxy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop fs -ls /
Found 2 items
-r--r--r--   - da@HADOOP.HZ.NETEASE.COM lofter_apache          0 2015-02-10 18:57 /binjiang
-r--r--r--   - da@HADOOP.HZ.NETEASE.COM lofter_apache          0 2015-02-10 18:57 /xiaoshan
 
hadoop@inspur116:~/jxy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop fs -ls /binjiang/user
Found 40 items
drwx------   - ad            hdfs            0 2015-01-19 13:35 /binjiang/user/ad
drwx------   - azkaban       hdfs            0 2015-02-02 10:38 /binjiang/user/azkaban
drwxr-x---   - blog          hdfs            0 2015-02-02 10:38 /binjiang/user/blog
drwx------   - censor        hdfs            0 2015-02-10 03:00 /binjiang/user/censor
 
# 也可以写完整的URI，否则就用fs.defaultFS的配置
hadoop@inspur116:~/jxy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop fs -ls viewfs://dummyCluster/xiaoshan/user
Found 17 items
drwx------   - ad            hdfs              0 2015-02-09 14:48 viewfs://dummyCluster/xiaoshan/user/ad
drwxr-x---   - click_tracker hdfs              0 2015-01-22 16:09 viewfs://dummyCluster/xiaoshan/user/click_tracker
drwxr-xr-x   - comic         hdfs              0 2015-02-10 14:48 viewfs://dummyCluster/xiaoshan/user/comic
drwxr-x---   - easegame      hdfs              0 2015-01-13 14:49 viewfs://dummyCluster/xiaoshan/user/easegame
 
# 这里其实是跨集群的copy，但背后细节被隐藏了
hadoop@inspur116:~/jxy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop fs -cp /binjiang/tmp/hadoop /xiaoshan/tmp

上面的例子中只有一个虚拟集群dummyCluster。其实也可以虚拟多个集群，每个虚拟集群可以挂载任意多hdfs，只要路径不冲突即可。还可以挂载子目录。具体不展开了，参考官方文档。

一些问题

上面所有例子中的配置，都是客户端的。只在当前客户端生效。好处是不需要服务端改配置（一般要重启），用户可以自己选择。
如果两边集群的认证方式不同（比如一个kerberos一个simple），是否能访问没测试过。
在我们的配置中，两边的集群用的是同样的KDC，所以用户信息是相通的，hdfs权限也是相通的。如果用了两个KDC，是否能访问没测试过。
上述配置中的hz-cluster1/hz-cluster2等字符串，其实用户也可以换成任意值，都是客户端配置。

跨集群YARN

跨集群跑YARN任务是可行的，但有些限制。NM在跑任务时也是hdfs客户端，如果想让NM能访问不同hdfs的数据，就要加上面说过的那些配置（多个HA配置或ViewFs）。简言之，要改服务端配置。
如果不改服务端配置，就只能写死NN地址。
注意，任务提交到哪个YARN集群只跟当前客户端的yarn-site.xml有关。跟访问哪个hdfs无关。
理论上YARN集群和hdfs集群可以是完全不同的物理机。

# 以下都是以滨江集群的客户端为例
 
# 可以运行。输入数据在滨江集群，输出写到萧山集群
hadoop@inspur116:~/jxy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /tmp/hadoop hdfs://hadoop40.photo.163.org:8020/tmp/multiple_nn
 
# 可以运行。输入是萧山集群的，任务在滨江集群运行，输出写到滨江。
hadoop@inspur116:~/jxy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount hdfs://hadoop40.photo.163.org/user/comic/mobile/hadoop /tmp/multiple_nn
 
# 和上一条命令是一样效果。服务端有hz-cluster1的配置。
hadoop@inspur116:~/jxy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount hdfs://hadoop40.photo.163.org/user/comic/mobile/hadoop hdfs://hz-cluster1/tmp/multiple_nn
 
# 运行失败。只有当前客户端知道hz-cluster2指的是哪台机器，服务端没这个配置
hadoop@inspur116:~/jxy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount hdfs://hz-cluster2/user/comic/mobile/hadoop /tmp/multiple_nn
 
# 运行失败。理由同上。
hadoop@inspur116:~/jxy/test/multiple_nn/hadoop-2.2.0/bin$ ./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /tmp/hadoop hdfs://hz-cluster2/tmp/multiple_nn

distcp命令的本质也是提交一个MR，所以也受上述规则的限制。
如果修改服务端的配置，应该就可以用hz-cluster2了，没试过。要修改所有节点的配置文件，代价比较大。

苏轶然

抱你于怀，寄你于心。跃然屏上，付我青春韶华，换你真情相待。

Hadoop 跨集群访问

[原文地址]

跨集群访问