Hadoop 2.6 测试环境搭建

 原文链接：http://www.errdev.com/post/3/

Hadoop2.6 是目前Hadoop的最新版本，从下面链接获得

http://hadoop.apache.org/releases.html#Download

同时需要准备至少一台Linux， 这里我用了CentOS 7。虚拟机装CentOS的时候最好用桥接模式，保证后面虚拟机的集群可以互相访问。公司刚好搭的有OpenStack，我就懒得用虚拟机了。

Single Node 模式

首先解压发布包

tar -xzvf hadoop-2.6.0.tar.gz 

Hadoop2.6 将所有配置都放在了 HADOOP_HOME/etc/hadoop 下面了 网上很多老的资料都是放在conf下的，导致之前做 Research 的时候 浪费了很多时间

CentOS 默认安装了OpenJDK的，但是需要自己配置下环境变量。CentOS的 OpenJDK一般装在/usr/java/jdk-version/

export JAVA_HOME = /usr/java/jdk1.7.0_55/ 

虽然导入了环境变量，但是后面我运行dfs的时候会提示没有设置JAVA_HOME 所以这里顺便把HADOOP脚本也修改了

在/HADOOP/etc/hadoop/hadoop-env.sh文件前面，注释掉export JAVA_HOME=${JAVA_HOME}，加一行export JAVA_HOME="/usr/java/jdk1.7.0_55", 同样修改yarn-env.sh文件

然后需要修改Hadoop的配置

• core-site.xml
• hdfs-site.xml

打开 core-site.xml 加入

<property>  <name>fs.defaultFS</name>  <value>hdfs://Hostname:8020</value> </property> 

这里有两个问题，Hostname可以配置成127.0.0.1，但是后面链接的时候会有各种问题，所以我直接配成了Hostname。 官方的文档里端口号配的是9000，但是其它程序连接Hadoop时一般会默认使用8020端口，为了后面偷懒，这里配成了8020

打开 hdfs-site.xml 加入

<property>  <name>dfs.replication</name>  <value>1</value> </property> 

• 因为是单节点模式，所以文件副本设置1。这是Hadoop的容错机制，类似于硬盘阵列

然后还需要设置一下免密码登陆

 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 

最后格式化一下文件系统， 就可以启动了

bin/hdfs namenode -format sbin/start-dfs.sh 

参考文档