Hadoop集群配置【二、单节点安装】

a)   单节点集群的安装

参考http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

  • 配置ssh(无密码连接到localhost)

$ chmod g-w ~/.ssh/authorized_keys【这里尤其注意,你的机器上若没有.ssh目录,那么mkdir之后一定确保.ssh权限是700】

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

解压hadoop-x.x.x.tgz

$ tar zxvf hadoop-x.x.x.tgz

  • 配置hadoop

编辑hadoop-install-directory /conf/hadoop-env.sh,修改JAVA_HOME为JDK的安装目录。例如:

# The java implementation to use.  Required.

      export JAVA_HOME=/usr/lib/jvm/java-6-openjdk

b)   检测hadoop是否安装成功

  • 开启hadoop

进入hadoop的安装目录,第一次开启hadoop要格式化hadoop文件系统,输入以下命令:

$ bin/hadoop namenode –format

然后开启hadoop,输入命令:

$ bin/start-all.sh

  • 检测hadoop进程是否都启动

输入命令:$ jps

hadoop成功启动会出现以下进程:

TaskTracker

JobTracker【如果它没启动,看看/etc/hosts文件然后再看配置文件】

DataNode【如果它没有启动看看是不是犯了第一章中总结的错误】

SecondaryNameNode

NameNode

Jps

  • 停止hadoop

在hadoop的安装目录输入命令:$ bin/stop-all.sh

posted @   花考拉  阅读(380)  评论(0编辑  收藏  举报
编辑推荐:
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
阅读排行:
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· Ollama——大语言模型本地部署的极速利器
· DeepSeek如何颠覆传统软件测试?测试工程师会被淘汰吗?
点击右上角即可分享
微信分享提示