VM搭建Hadoop环境遇到的问题

原文链接:https://www.toutiao.com/i6482644128860471822/

一、Slave2中sshd服务一直处于启动失败状态

查看配置文件

c

发现配置文件末尾slave2和master不同,更改过后问题解决,可以连接

 

二、启动Hadoop时,SSH免密验证失败

查看日志信息,每次日志均卡在这个位置

查询发现master中 datanode一直未启动

因为在执行./start-dfs.sh中,手动输入过一次密码,猜测免密登录配置错误

回忆配置过程:

切换到hadoop角色后,进入/root/.ssh目录,发现权限不够

所以采用在root角色下进行免密配置

最终可以实现ssh hadoop@slave1免密登录,但是在hadoop启动的时候仍然需要密码登录,这就是错误原因。

忽略的问题,应该进入的是当前角色的ssh目录,即~/.ssh,所以拷贝的时候命令应该是:

错误:ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop@slave1

正确:ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave1

重新执行./start-dfs.sh

浏览器访问启动成功

posted on   那山的狐狸  阅读(304)  评论(0编辑  收藏  举报

编辑推荐:
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 【译】Visual Studio 中新的强大生产力特性
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

导航

统计

点击右上角即可分享
微信分享提示