spark学习笔记-hadoop2.4.1集群搭建（3）
安装hadoop包
1、使用课程提供的hadoop-2.4.1.tar.gz，使用WinSCP上传到CentOS的/usr/local目录下。
2、将hadoop包进行解压缩：tar -zxvf hadoop-2.4.1.tar.gz
3、对hadoop目录进行重命名：mv hadoop-2.4.1 hadoop
4、配置hadoop相关环境变量 vi .bashrc export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin source .bashrc
修改core-site.xml
1 <property> 2 <name>fs.default.name</name> 3 <value>hdfs://spark1:9000</value> 4 </property>
修改hdfs-site.xml
1 <property> 2 <name>dfs.name.dir</name> 3 <value>/usr/local/data/namenode</value> 4 </property> 5 <property> 6 <name>dfs.data.dir</name> 7 <value>/usr/local/data/datanode</value> 8 </property> 9 <property> 10 <name>dfs.tmp.dir</name> 11 <value>/usr/local/data/tmp</value> 12 </property> 13 <property> 14 <name>dfs.replication</name> 15 <value>3</value> 16 </property>
修改mapred-site.xml
1 <property> 2 <name>mapreduce.framework.name</name> 3 <value>yarn</value> 4 </property>
修改yarn-site.xml
1 <property> 2 <name>yarn.resourcemanager.hostname</name> 3 <value>spark1</value> 4 </property> 5 <property> 6 <name>yarn.nodemanager.aux-services</name> 7 <value>mapreduce_shuffle</value> 8 </property>
修改slaves文件
1 spark1 2 spark2 3 spark3
在另外两台机器上搭建hadoop
1、使用如上配置在另外两台机器上搭建hadoop，可以使用scp命令将spark1上面的hadoop安装包和.bashrc配置文件都拷贝过去。
2、要记得对.bashrc文件进行source，以让它生效。
3、记得在spark2和spark3的/usr/local目录下创建data目录。
启动hdfs集群
1、格式化namenode：在spark1上执行以下命令，hdfs namenode -format
2、启动hdfs集群：start-dfs.sh
3、验证启动是否成功：jps、50070端口
spark1：namenode、datanode、secondarynamenode
spark2：datanode
spark3：datanode
启动yarn集群
1、启动yarn集群：start-yarn.sh
2、验证启动是否成功：jps、8088端口
spark1：resourcemanager、nodemanager
spark2：nodemanager
spark3：nodemanager
