Hadoop伪分布式集群搭建时出现的问题汇总
问题一:Hadoop集群启动以后,有部分节点无法启动datanode(或者启动以后马上就挂掉)。
分析:1)查看日志,如果日志显示无法连接,那就是/etc/hosts以及免密登陆没配置好。
2)如果是datanode启动后有挂掉,方法一:用Hadoop守护进程在该节点使用:bin/Hadoop-daemon.sh start DataNode;方法二:虚拟机重新克隆master节点。
问题二:Hadoop集群启动后,有datanode进程但无法在maser:50070及8088上查看(或者根本登不上)。
分析:1)检查防火墙是否关闭 (使用命令:service iptables stop)
2)检查Datanode进程是否持续存在。
注:如果不关闭防火墙可能无法上传数据至hdfs。