使用NFS服务提高hadoop 可靠性
众所周知 hadoop是一个单点系统,即所谓的spof,所以元数据的保护就是重中之重。目前元数据写两份,分别是本地的磁盘,远程的磁盘。还有一个secondary namenode做冷备。写到远程的磁盘就需要的是NFS服务了。
NFS(Network File System, 网络文件系统)可以通过网络将分享不同主机(不同的OS)的目录——可以通过NFS挂载远程主机的目录, 访问该目录就像访问本地目录一样。
首先下载NFS,网址是http://sourceforge.net/projects/nfs/files/ 选择合适的版本下载。到server和client机器安装。
编辑server主机的文件/etc/exports /etc/hosts.allow /etc/hosts.deny三个文件。
对/etc/exports 加入例如:/data0 10.39.2.121(rw,no_root_squash)
其中/data0为对外开放的目录 后面是机器加权限,详细说明见 http://nfs.sourceforge.net/nfs-howto/ar01s03.html
启动nfs server的服务:
/etc/init.d/portmap start /etc/init.d/nfslock start /etc/init.d/nfs start
在client端同样启动相同的服务。
同时在client端挂在远程目录 sudo mount master:/data0/ /data1
/data1是client端本地目录。