【hadoop集群搭建】【上机任务2】
完整内容后续再补,先写个问题排除记录。
无法访问web界面的问题
如果hdfs在虚拟机启动后,在主机上访问不了web界面,
可以使用netstat -ntlp
查看一下有没有9870端口或50070端口的监听,
因为hdfs启动后,旧版本监听50070,新版本监听9870端口,
这个地址可以在$HADOOP_HOME/etc/haddop/hdfs-site.xml文件中显式指定:
如果有,但是显示的IP地址是127.0.0.1,
可以尝试在hosts文件里面将主机名指向127地址删掉,
保留如果没有则添加一条主机名指向真实IP地址的记录。
然后重新启动hdfs,这时再次查看监听地址已经变成了真实的IP地址:
再次访问web端口已经可以正常访问:
另一种情况
如果不改hosts文件,而在$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件中更改web端的访问地址,
也是可以访问到的:
但是
由于hosts文件中主机名对应的还是localhost,这将导致hdfs监听的还是本地环回地址,
这将导致其他节点无法与此节点沟通:
无法沟通也就是意味着集群没有形成集群,即使能用,节点也就只剩下一个:
所以这样改是不对的,应该按第一种情况改hosts文件,
# 应该这样写
127.0.0.1 localhost
x.x.x.x hostname
# 不要写127.0.0.1 hostname
# 我将其写在x.x.x.x hostname下面依然不行,hadoop启动还是会监听127
正常启动的情况:
有了计划记得推动,不要原地踏步。
标签:
数据科学与技术
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 从HTTP原因短语缺失研究HTTP/2和HTTP/3的设计差异
· 三行代码完成国际化适配,妙~啊~