Hadoop 集群的一些问题

1、创建用户hadoop

     adduser hadoop

     passwd hadoop

     usermod -a -G hadoop hadoop

 

chown -R hadoop:hadoop  /data

 

2、格式化hdfs

      hdfs namenode -format

 

3、sbin/start-all.sh

4、查看node是否启动

   jps

 

 

启动后问题

1. 浏览器访问9000端口被拒绝
   原因，没有格式化hdfs（注意：本身9000端口也不可以通过浏览器访问，否则会出现问题2）
   https://stackoverflow.com/questions/18322102/hadoop-connection-refused-on-port-9000

2. It looks like you are making an HTTP request to a Hadoop IPC port. This is not the correct port for the web interface on this daemon.
   https://stackoverflow.com/questions/20216614/hadoop-2-2-0-it-looks-like-you-are-making-an-http-request-to-a-hadoop-ipc-port

3. 浏览器默认端口
   Resource Manager: http://hadoop1:8088
   Web UI of the NameNode daemon: http://hadoop1:50070
   HDFS NameNode web interface: http://hadoop1:8042

参考：

1. http://www.powerxing.com/install-hadoop-cluster/ （很详细，推荐看这个）

 

5、查看datanode 是否启动

   hdfs dfsadmin -report

    

使用jps命令查看节点启动的进程，Master和slave上均可使用。

使用hdfs dfsadmin -report可以查看Datanode是否成功启动

  

注意：

   如果dataNode 启动失败;

   slave jps无数据;

   则

1、从分布式切换到伪分布式时，不要忘记修改 slaves 配置文件；

2、如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动
，
  试着删除所有节点（包括 Slave 节点）上的 /usr/local/hadoop/tmp 文件夹，再重新执行一次 hdfs namenode -format，再次启动试试。