Ubuntu上搭建hadoop环境+eclipse设置

 

我的版本：
Ubuntu 12.04
Hadoop 1.2.1

参考链接：http://blog.csdn.net/hitwengqi/article/details/8008203

　　按照上面链接安装，不过可以不建立新的用户，直接用安装Ubuntu的用户就可以，而且直接就是属于管理员组。

　　单机模式很顺利，在配置伪分布模式的时候出现了一个问题：启动Hadoop之后，用jps命令验证发现启动项总是少一个，DataNode没有。之后从网上查修正方法，失败理由各种各样，但那么多种方案都没有效果。后来跟一大神问，大神不愧大神，虽然没有装过Hadoop，但是搜索方法的能力绝对一流，我按照人家给发的链接的方法，一下就了。不过当时在webqq，已经找不到那个链接地址了。方法如下：

先关闭所有启动项：  /usr/hadoop/bin$ stop-all.sh 
然后删除三个文件夹：
core-site.xml文件里 hadooptmp.dir对应的文件夹：/usr/hadoop/tmp 和 /usr/hadoop/logs
hdfs-site.xml文件里 dfs.data.dir对应的文件夹：/usr/hadoop/hdfs/data
再按照链接里的方法进行一次格式化HDFS。

可以在格式化HDFS的时候，写过命令 hadoop namenode -format 之后，手动删除上面说的三个文件夹， 然后再启动hadoop，这样就不会出现最开始的问题了。

　　为了以后每次启动Hadoop（start-all.sh）能直接用，要将其目录加入到系统环境变量里，在 ~/hadoop/conf/hadoop-env.sh 添加的内容复制到 ~/.bashrc 或者 /etc/profile 里，重启终端就好。

添加内容如下：

JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386
HADOOP_HOME=/home/kxxie/hadoop
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/lib/*

export JAVA_HOME
export JRE_HOME=/usr/lib/jvm/java-6-openjdk-i386/jre
export PATH
export CLASSPATH

这样每次启动Hadoop的时候，只需要在终端命令：start-all.sh，用jps命令检查有六个启动项即为成功。

接下来就是配置Eclipse:
参考链接：http://www.cnblogs.com/linjiqin/archive/2013/06/21/3147902.html

　　没有什么问题，按照教程里的步骤一步一步来，需要填的内容要对应自己的Hadoop配置的各项IP就好。但是每次启动eclipse都麻烦，可以将eclipse加入到系统环境变量，但是在终端启动的时候貌似需要一
直开着一个终端，嗯，强迫症又犯了，于是我是在桌面上建立了一个快捷方式。

参考链接：http://www.cppblog.com/kangnixi/archive/2010/07/12/120105.aspx

 

好了！开始学习MapReduce，哦耶(*^__^*)