通过webdav协议将hdfs挂载到本地

转自 http://blog.csdn.net/xia_yu_mao_fa/article/details/37825713

hdfs-webdav能讲hdfs映射为本地文件系统。通过实现webDav Http协议。可以如使用本地文件系统一样使用hdfs。

部署过程：（hadoop版本为1.2.1，使用高版本有一些问题）

1. 下载war包
2. 修改WEB-INF/classes/hadoop-site.xml，修改fs.default.name属性，以确定hdfs-webdav要连接的hadoop namenode server.
3. 替换hadoop的核心jar包。hadoop-core-1.2.1.jar。commons-configuration-1.6.jar,commons-lang-2.4.jar。
4. 部署到tomcat中，版本为6.0.37.（其他版本可能不行）。配置启动端口，不要与机器上其他端口重复。例如：启动端口8080.停止端口为8003。启动后可以在浏览器中察看。http://ip:port/hdfs-webdav。
5. 挂载到本地。安装hdfs-webdav/linux-mount-lib下的三个安装包，安装顺序neon->davfs2->fuse.都是编译安装(./configure;make;make install)。如果安装错误，请下载最新安装包安装。然后创建davfs2用户和用户组。groupadd davfs2;useradd -g davfs2 davfs2;然后进行root权限执行挂载mount.davfs http://localhost:8080/hdfs-webdav mount_dir，然后提示输出用户名（输入davfs2），密码（为空，直接回车）。挂载成功。其中http地址为hdfs-webdav的访问地址

备注：（修改tomcat的默认字符集）

 

$tomcat_home/conf/server.xml

 

 

    <Connector port="8080" protocol="HTTP/1.1" 

               connectionTimeout="20000" 

               redirectPort="8443" URIEncoding="utf-8" useBodyEncodingForURI="true"/>

 

 

    <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" URIEncoding="utf-8"/>