centOS下单机配置hadoop攻略

原文地址：centOS下单机配置hadoop攻略作者：两个屏幕爽啊

花了两天时间来配置hadoop，繁琐的是版本不兼容及不知名错误。好在本组有位很有经验很nice的同事来帮助我，因此花了不算太久就能装好并测试完毕了。

以下是配置攻略，希望对其他配置hadoop的朋友有所帮助。

本机环境: centOS

 

一、安装jdk

Jdk版本：jdk-6u30-linux-amd64.rpm

1.安装命令:rpm –ivh jdk-6u30-linux-amd64.rpm

2.在etc/profile里面添加声明如下：

export JAVA_HOME=/usr/java/default

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

3.退出后，source /etc/profile使得配置生效

 

二、安装hadoop

hadoop版本：hadoop-1.0.3-1.x86_64.rpm

1.安装命令：rpm –ivh hadoop-1.0.3-1.x86_64.rpm

2.在etc/hadoop文件夹下

对以下几个文件进行设置

core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

 

hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

 

mapred-site.xml:

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

 

三、设置SSH

ssh-keygen –t dsa –P ‘’ –f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

四、启动hadoop

hadoop namenode –format

start-all.sh

此时通过浏览器即可浏览到namenode和jobtracker

五、测试

将两个本地的文件拷贝到hdfs上，调用hadoop示例程序wordcount对其进行单词统计。

echo “hello,world” >file01

echo “hello,hadoop” >file02

hadoop fs –mkdir input

hadoop fs –copyFromLocal /home/hao/file0* input

hadoop jar /usr/share/hadoop/hadoop-examples-1.0.3.jar wordcount input output

hadoop fs –cat user/root/output/part-r-00000

 

出现问题及解决方法：

1.jdk及hadoop的安装必须与本机环境相适应，比如，本机为centOS，则安装软件必须选择rpm格式，为与本机及服务器相兼容，jdk必须选择64位或者x86_64

2.安装完毕后，在 etc/profile里面设置JAVA_HOME最好设置为usr/java/default，这是一个symbol link，可以避免因JAVA环境变量变化而引起的错误。

3.安装完毕后在/etc/hadoop里面设置hadoop-site.xml等文件

4.以上步骤都完成后，将本地文件拷贝至HDFS上，此时应使用 hadoop fs –lsr / 来查看hdfs的文件夹内容，以确定不会读错文件。