随笔 - 192, 文章 - 0, 评论 - 44, 阅读 - 45万

导航

< 2025年1月 >
29 30 31 1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31 1
2 3 4 5 6 7 8

hadoop 完全分布式 下 datanode无法启动解决方法

Posted on   寒宵飞飞  阅读(785)  评论(0编辑  收藏  举报

问题描述:

在集群模式下更改节点后,启动集群发现 datanode一直启动不起来。

我集群配置:有5个节点,分别为master slave1-5 。

在master以Hadoop用户执行:start-all.sh

jps查看master节点启动情况:

          NameNode        

         JobTracker

         SecondaryNameNode

均已经正常启动,利用 master:50070 , Live Nodes 为0, 随进入 slave1:

ssh slave1,  输入命令 jps ,发现只有 TaskTracker 而没有DataNode。随后看日志

上网查找解决方法,最后终于解决了,解决方法如下:

1. 先执行stop-all.sh暂停所有服务

2. 将所有Salve节点上的tmp(即 hdfs-site.xml 中指定的 dfs.data.dir 文件夹,DataNode存放数据块的位置)、 logs 文件夹删除 , 然后重新建立tmp , logs 文件夹

3. 将所有Salve节点上的/usr/hadoop/conf下的core-site.xml删除,将master节点的core-site.xml文件拷贝过来,到各个Salve节点

    scp /usr/hadoop/conf/core-site.xml   hadoop@slave1:/usr/hadoop/conf/

4. 重新格式化: hadoop namenode -format

5. 启动:start-all.sh

 

此外也可能遇见slave的Datanode错误:

错误1,hadoop datanode 问题 INFO org.apache.hadoop.ipc.RPC: Server at /:9000 not available yet, Zzzzz..

       解决方法见:http://blog.sina.com.cn/s/blog_893ee27f0100zoh7.html,

错误2,slave节点的DataNode不能连接master, 日志信息为为: INFO org.apache..ipc.Client: Retrying connect to server: master/172.16.0.100:9000. Already tried 0 time(s); 

      解决办法:

         1、ping master能通,telnet master 9000不能通,说明开启了防火墙
        2、关闭master主机防火墙,可以通过/sbin/iptables -F清除所有规则来暂时停止防火墙
              如果想清空的话,先执行 /sbin/iptables -P INPUT ACCEPT,然后执行 /sbin/iptables -F

注:这是我碰到的情况,不见得是你遇到的问题,基本上从以下几个方面解决问题:
        1. 检查各个xml文件是否配置正确

        2. Java环境变量配置是否正确

        3. ssh是否无密码互通

        4, Hadoop离开安全模式,hadoop dfsadmin -safemode leave。

也可以参考这个:http://blog.sina.com.cn/s/blog_76fbd24d01017qmc.html

 

 

本文转载自http://blog.csdn.net/daniel_ustc/article/details/10834413

编辑推荐:
· .NET Core 对象分配(Alloc)底层原理浅谈
· 聊一聊 C#异步 任务延续的三种底层玩法
· 敏捷开发:如何高效开每日站会
· 为什么 .NET8线程池 容易引发线程饥饿
· golang自带的死锁检测并非银弹
阅读排行:
· 一个适用于 .NET 的开源整洁架构项目模板
· AI Editor 真的被惊到了
· API 风格选对了,文档写好了,项目就成功了一半!
· 【开源】C#上位机必备高效数据转换助手
· 关于linux网桥(Linux Bridge)的一些个人记录
点击右上角即可分享
微信分享提示