Hadoop在Ubuntu上安装遇到的一些问题
Hadoop版本: 0.22.0
Ubuntu版本:12.04TLS desktop i386
1. 主要是卡在了Hadoop的SSH配置问题上,一开始不没有注意。是后来进行配置的。
2. 对Ubuntu的用户和sudo后的root用户混淆了。导致SSH配置免登录后,使用普通用户可以,使用root用户不行。而Hadoop运行时使用的root用户。 (在root用户下配置一下SSH面登录,再运行hadoop就没有问题)
3. 配置好之后,使用hadoop fs -copyFromLocal 进行文件拷贝时,报错localhost:8020连不上,检查了hdfs是正常启动的。但是端口是配置的9000,根据网上的一个配置来配的,果断把core-site.xml里面的端口修改为8020,解决了该问题。
4. 重启计算机后,启动start-all.sh,发现hdfs连不上,重新运行 hadoop namenode -format 搞定了。
同时记录一下管理页面的地址:
http://localhost:50030/ - Hadoop 管理页面
http://localhost:50060/ - Hadoop Task Tracker 状态
http://localhost:50070/ - Hadoop DFS 状态