hadoop集群搭建实践

一、Linux配置
1、设置hosts的ip(集群机器做同样操作)
vi /etc/hosts
192.168.91.129 master
192.168.91.130 slave

#互相ping通即可

ping master
ping slave

 

2、关闭防火墙(集群机器做同样操作)
setup

 

3、修改主机名(修改slave节点主机名，使集群机器主机名不同即可。)
slave集群机：HOSTNAME=slave

4、安装JDK
#复制JDK到全局目录下
cp /home/chenweichu/resource/software/java/jdk-8u131-linux-x64.tar.gz    /usr/java/
#解压
tar -zxvf jdk-8u131-linux-x64.tar.gz
#配置环境变量
vi /etc/profile

#/etc/profile增加内容：

export JAVA_HOME=/usr/java/jdk1.8.0_131
export JRE_HOME=/usr/java/jdk1.8.0_131/jre
export PATH=$PATH:/usr/java/jdk1.8.0_131/bin
export CLASSPATH=./:/usr/java/jdk1.8.0_131/lib:/usr/java/jdk1.8.0_131/jre/lib

#刷新环境变量
source /etc/profile

#检查是否安装和配置成功

java -version
#拷贝到slave机器，然后安装配置环境变量。
scp /usr/java/jdk-8u131-linux-x64.tar.gz root@slave:/usr/java/

 

二、hadoop安装
1、修改hadoop_env.sh
export JAVA_HOME =${JAVA_HOME}

2、修改配置文件

如下4个文件：
core-site.xml
hdfs-site.xml
mapred-site.xml
yam-site.xml

2.1、core-site.xml:
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/chenweichu/hadoopdata</value>
</property>

2.2、hdfs-site.xml:

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

2.3、mapred-site.xml:

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

2.4、yam-site.xml:

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>

 

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>

<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>

3、修改slaves
改成：slave

4、yarn-env.sh
增加：export JAVA_HOME = /usr/java/jdk1.8.0_131

 

5、将hadoop复制到集群
scp -r hadoop-2.5.2 chenweichu@slave:~/

6、创建安放hadoop数据的文件夹
mkdir /home/chenweichu/hadoopdata

7、格式化文件系统
在master节点执行
hadoop-2.5.2/bin/hdfs namenode -format

8、启动集群
master:
hadoop-2.5.2/sbin/hadoop-daemon.sh start namenode
hadoop-2.5.2/sbin/yarn-daemon.sh start resourcemanager

slave:
hadoop-2.5.2/sbin/hadoop-daemon.sh start datanode
hadoop-2.5.2/sbin/yarn-daemon.sh start nodemanager

9、运行PI实例检查集群是否成功
进入hadoop安装目录，执行下面的命令
cd hadoop-2.5.2/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-2.5.2.jar pi 10 10

10、验证集群是否搭建成功
Web UI查看集群是否启动成功
http://192.168.91.129:18088
http://192.168.91.130:18088

最后输出：
Estimated value of Pi is 3.20000000000000000000
如果以上的3个验证步骤都没问题，说明集群正常启动。