hadoop完全分布式集群配置
环境:两台电脑,AMD64+ubuntu10.04+jdk1.7.0+hadoop0.20.2准备做namnode用
intel x86+ubuntu10.04+jdk1.7.0+hadoop0.20.2作datanode用
为集群中的每台电脑建一个账户hadoop,设置密码:123456
命令:$useradd -m hadoop
$passwd 123456
将hadoop-0.20.2文件拷贝到hadoop用户目录下,注意:此时hadoop-0.20.2文件的所属的用户和组可能还为root,通过linux命令chown -R hadoop:hadoop hadoop-0.20.2修改其用户和组,否则后面执行相应的命令时由于权限问题失败,本人被这个问题折腾来半天
安装jdk到目录/usr/lib/jvm/jdk1.7.0下,安装后用命令java -version看看是否安装成功,如果显示的java版本还所旧的,请按照前面的文章介绍的方法跟新。
设置hadoop的几个配置文件
在hadoop-env.sh文件中加这一行export JAVA_HOME=/usr/lib/jvm/jdk1.7.0
core-site.xml配置:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://gywnamenode/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadooptmp</value>
</property>
</configuration>
注意要修改/usr/local/hadoop目录所属的用户和组为hadoop,否则会出现权限问题,失败
遇到什么问题,要多看相应的日志文件,分析下,就能找出原因