VM搭建Hadoop环境遇到的问题
原文链接:https://www.toutiao.com/i6482644128860471822/
一、Slave2中sshd服务一直处于启动失败状态
查看配置文件
c
发现配置文件末尾slave2和master不同,更改过后问题解决,可以连接
二、启动Hadoop时,SSH免密验证失败
查看日志信息,每次日志均卡在这个位置
查询发现master中 datanode一直未启动
因为在执行./start-dfs.sh中,手动输入过一次密码,猜测免密登录配置错误
回忆配置过程:
切换到hadoop角色后,进入/root/.ssh目录,发现权限不够
所以采用在root角色下进行免密配置
最终可以实现ssh hadoop@slave1免密登录,但是在hadoop启动的时候仍然需要密码登录,这就是错误原因。
忽略的问题,应该进入的是当前角色的ssh目录,即~/.ssh,所以拷贝的时候命令应该是:
错误:ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop@slave1
正确:ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave1
重新执行./start-dfs.sh
浏览器访问启动成功
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 【译】Visual Studio 中新的强大生产力特性
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构