Hadoop分布式部署——要点
这里只记录几个要点,比较容易出问题的地方。
1.各服务器必须有相同的用户(便于使用相同的用户ssh登录)
2.ssh互通,配置无密码登录ssh-keygen -t rsa,将id_rsa.pub的内容相互复制到各主机的authorized_keys文件中,注意设置authorized_keys的权限为600(必须的,不然ssh登录时还是提示密码);修改/etc/ssh/ssh_config配置文件,启用RSA和公钥认证方式,并重启sshd服务。(为了保证可以通过ssh登录其他服务器,启动或停止hadoop)
3.各主机配置好$HADOOP_HOME(用于ssh登录后确定Hadoop的安装路径),及$PATH环境变量,并配置好hadoop相关配置(这个参考官方的文档就可以了),在Master节点启动start-all.sh即可,注意防火墙开放相关端口,使用hadoop dfsadmin -report查看hadoop的运行状态。
详细的配置请参考园友的一篇文章(这是我见过最详细的配置文档了,绝对要推荐):
http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
据说看到好文章不推荐的人,服务器容易宕机!
本文版权归翟士丹(Stan Zhai)和博客园共有,原创文章,未经允许不得转载,否则保留追究法律责任的权利。