Spark入门到精通--（第八节）环境搭建（Hadoop搭建）
上一节把Centos的集群免密码ssh登陆搭建完成，这一节主要讲一下Hadoop的环境搭建。
Hadoop下载安装
下载官网的Hadoop 2.4.1的软件包。http://hadoop.apache.org/，或在百度网盘进行下载。链接: http://pan.baidu.com/s/1gePE9O3 密码: unmt
下载完以后将
通过Xftp上传到服务器器上。我是放在/home/software目录下
[root@spark1 ~]# cd /home/software/ [root@spark1 software]# ls hadoop-2.4.1-x64.tar.gz scala-2.11.8.tgz [root@spark1 software]#
然后解压放到/usr/lib目录下，并且重命名为hadoop，这里hadoop的配置和之前Scala、Java差不多。
[root@spark1 software]# tar -zxf hadoop-2.4.1-x64.tar.gz //解压 [root@spark1 software]# mv hadoop-2.4.1-x64 /usr/lib/hadoop //重命名 [root@spark1 software]# cd /usr/lib //编辑环境变量 [root@spark1 lib]# vi ~/.bashrc//添加到最后两行 export HADOOP_HOME=/usr/lib/hadoop export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin //保存退出，是环境变量生效 [root@spark1 lib]# source /etc/profile
Hadoop配置文件修改
然后我们进入hadoop目录，对hadoop的配置文件进行修改。
[root@spark1 etc]# cd hadoop/ [root@spark1 hadoop]# cd etc/ [root@spark1 etc]# cd hadoop/
- 修改core-site.xml
[root@spark1 hadoop]# vi core-site.xml
设置hdfs对外的端口，在<configuration>里添加
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://spark1:9000</value>
</property>
</configuration>
保存退出。
- 修改hdfs-site.xml
[root@spark1 hadoop]# vi hdfs-site.xml
设置集群的节点数3，hdfs的目录。
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/lib/data/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/lib/data/datanode</value>
</property>
<property>
<name>dfs.temp.dir</name>
<value>/usr/lib/data/temp</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
保存退出，根据上面的配置路径新建data目录。
[root@spark1 lib]# cd /usr/lib
[root@spark1 lib]# mkdir data
- 修改mapred-site.xml.template
[root@spark1 hadoop]# vi mapred-site.xml.template
设置MapReduce运行在yarn上，在<configuration>里添加
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
保存退出。
- 修改yarn-site.xml
[root@spark1 hadoop]# vi yarn-site.xml
在<configuration>里添加
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>spark1:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
保存退出。
- 修改slaves
[root@spark1 hadoop]# vi slaves
spark1
spark2
spark3
保存退出，全部配置文件完成，是文件生效。
[root@spark1 hadoop]# source ~/.bashrc
为集群三台服务器全部配置Hadoop配置
将spark1上的配置文件拷贝到spark2和spark3上。
[root@spark1 hadoop]# cd /usr/lib
[root@spark1 lib]# scp -r hadoop root@spark2:/usr/lib/
拷贝完成后别忘了在spark2和spark3上创建/usr/lib目录上的data文件夹，/etc/profile文件也要都修改，改完别忘了另外两台服务器生效。
[root@spark2 lib]# source ~/.bashrc
都完成之后我们回到spark1服务器上。
- 格式化namenode
[root@spark1 lib]# hdfs namenode -format
- 启动hdfs集群，在spark1上启动namenode、secondaryNameNode、datanode，在spark2、spark3上启动datanode
[root@spark1 lib]# start-dfs.sh
按提示一路操作下来，完成后输入命令查看spark1是否OK
[root@spark1 lib]# jps
你可以在spark2、spark3下分别输入命令jps查看datanode是否启动。
完成后你可以在本地打开chrome输入：http://[spark1的外网ip]:50070。出现如下界面
启动Yarn集群
在spark1上执行命令
[root@spark1 lib]# start-yarn.sh
[root@spark1 lib]# jps
发现启动了ResourceManager和NodeManager，同时spark2和spark3上也会出现NodeManager。
完成后你可以在本地打开chrome输入：http://[spark1的外网ip]:8088。出现如下界面（如果未出现该界面，说明之前yarn-site.xml文件里的地址没有配外网ip，可直接修改webapp.address[外网ip:8088]）
至此hadoop集群搭建完毕！
如有配置问题也可参考：http://blog.csdn.net/greensurfer/article/details/39450369
