Hadoop集群配置【二、单节点安装】
a) 单节点集群的安装
参考http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
- 配置ssh(无密码连接到localhost)
$ chmod g-w ~/.ssh/authorized_keys【这里尤其注意,你的机器上若没有.ssh目录,那么mkdir之后一定确保.ssh权限是700】
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
解压hadoop-x.x.x.tgz
$ tar zxvf hadoop-x.x.x.tgz
- 配置hadoop
编辑hadoop-install-directory /conf/hadoop-env.sh,修改JAVA_HOME为JDK的安装目录。例如:
# The java implementation to use. Required.
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
b) 检测hadoop是否安装成功
- 开启hadoop
进入hadoop的安装目录,第一次开启hadoop要格式化hadoop文件系统,输入以下命令:
$ bin/hadoop namenode –format
然后开启hadoop,输入命令:
$ bin/start-all.sh
- 检测hadoop进程是否都启动
输入命令:$ jps
hadoop成功启动会出现以下进程:
TaskTracker
JobTracker【如果它没启动,看看/etc/hosts文件然后再看配置文件】
DataNode【如果它没有启动看看是不是犯了第一章中总结的错误】
SecondaryNameNode
NameNode
Jps
- 停止hadoop
在hadoop的安装目录输入命令:$ bin/stop-all.sh
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· Ollama——大语言模型本地部署的极速利器
· DeepSeek如何颠覆传统软件测试?测试工程师会被淘汰吗?