随笔 - 84  文章 - 0  评论 - 190  阅读 - 59万

[学习笔记]Hadoop 配置调试错误收集

错误清单目录:

  1. “No route to host”

  2. “个别 datanode启动不了,出现java.io.IOException: verifyNodeRegistration

 

错误详单:

  1. No route to host

  ①主要两个原因:1、防火墙挡住了,可以关闭iptable 2、网段不同,没有路由信息,可检查IP和掩码确认一下

  ②查看路由情况:route或ip route

  ③停止防火墙:service iptables stop

  启动防火墙:service iptables start

  ④但是以上命令只会使用当次机器运行有效,机器重启会又会无效,如需要,可以如下:

  chkconfig iptables on

  chkconfig iptables off

  ⑤有更绝的一招,清楚iptables中所有规则,并保存

  iptables -F

  iptables-save

  ⑥其他命令:

  chkconfig --list 常看chkconfig中所有服务在不同模式下的启动情况

  chkconfig iptables --list 常看chkconfig中iptables中内容在不同模式下的启动情况。

2. 个别datanode启动不了,出现java.io.IOException: verifyNodeRegistration: unknown datanode

主要原因:在core-site.xml中配置了如下property:

<property>

  <name>dfs.hosts.exclude</name>

  <value>excludes</ value>

</property> 

并且在$HADOOP_HOME/conf/目录下excludes文件中配置了启动不了datanode。

配置及文件作用解释:通知集群将要停掉的机器名称。

posted on   石头儿  阅读(2271)  评论(0编辑  收藏  举报
编辑推荐:
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
阅读排行:
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 【译】Visual Studio 中新的强大生产力特性
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
· 字符编码:从基础到乱码解决

点击右上角即可分享
微信分享提示