Hadoop2.8集群搭建
前言
集群的搭建需要准备三台虚拟机
| 主机名称 | IP地址 |
|---|---|
| hadoop001 | 192.168.131.137 |
| hadoop002 | 192.168.131.138 |
| hadoop003 | 192.168.131.139 |
- Hadoop-2.8.5：链接：https://pan.baidu.com/s/128xtR4sfsiup8oJHerP75A 提取码：384h
- jdk-7u75-linux-x64.tar：链接：https://pan.baidu.com/s/1BDMM8c-6fJsU1vHlxc7OEw 提取码：f12p
一、配置主机名与网络
以下操作 三台虚拟机 都需要进行操作
切换到root权限
su root
修改主机名称
hostnamectl set-hostname hadoop001
修改IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
做出如下修改
TYPE=Ethernet
PROXY_METHOD=static
BROWSER_ONLY=no
BOOTPROTO=dhcp
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=fa65cffc-4ad5-496b-a3bd-0c1bd3bbd600
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.131.137
GATEWAY=192.168.131.2
NETWORK=255.255.255.0
DNS1=192.168.131.2
注意 IPADDR 的修改（三台虚拟机对应各自IP）
重启网卡，测试网络
service network restart
重启电脑
reboot
添加映射
vim /etc/hosts
在另外 两台虚拟机 重复执行上述操作
二、配置免密登录
以下操作 三台虚拟机 都需要进行操作
ssh-keygen
输入ssh-keygen后，按照命令提示敲击“Enter”，直至命令结束
拷贝公钥
ssh-copy-id hadoop001
ssh-copy-id hadoop002
ssh-copy-id hadoop003
测试免密登录
在另外 两台虚拟机 重复执行上述操作
三、安装JDK
创建目录
mkdir /data
上传安装包
通过xshell连接hadoop001虚拟机
连接xshell后，切换至data目录，然后将jdk-7u75-linux-x64.tar.gz拖拽至xshell黑框里即可上传
cd /data
解压安装包
tar -zxvf /data/jdk-7u75-linux-x64.tar.gz -C /opt/
重新命名解压后的文件夹
mv /opt/jdk1.7.0_75 /opt/java
配置环境变量
vim ~/.bashrc
在环境变量后加上如下文本
#java
export JAVA_HOME=/opt/java
export PATH=$JAVA_HOME/bin:$PATH
保存并且退出，然后刷新环境变量
source ~/.bashrc
检测环境变量配置是否生效
java
四、安装Hadoop
上传安装包
通过xshell连接hadoop001虚拟机
连接xshell后，切换至data目录，然后将hadoop-2.8.5.tar.gz拖拽至xshell黑框里即可上传
解压安装包
tar -zxvf /data/hadoop-2.8.5.tar.gz -C /opt/
重新命名解压后的文件夹
mv /opt/hadoop-2.8.5 /opt/hadoop
配置环境变量
vim ~/.bashrc
在环境变量后加上如下文本
#hadoop
export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
保存并且退出，然后刷新环境变量
source ~/.bashrc
检测环境变量配置是否生效
hadoop version
修改hadoop-env.sh配置文件
vim /opt/hadoop/etc/hadoop/hadoop-env.sh
修改core-site.xml配置文件
创建Hadoop临时文件存储文件夹
mkdir -p /data/tmp/hadoop/tmp
修改配置文件
vim /opt/hadoop/etc/hadoop/core-site.xml
添加如下文本
<property>
<name>hadoop.tmp.dir</name>
<value>/data/tmp/hadoop/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop001:9000/</value>
<description>NameNode URI</description>
</property>
修改hdfs-site.xml配置文件
vim /opt/hadoop/etc/hadoop/hdfs-site.xml
添加如下文本
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/tmp/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/tmp/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
修改yarn-site.xml配置文件
vim /opt/hadoop/etc/hadoop/yarn-site.xml
添加如下文本
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
修改mapred-site.xml.template配置文件
修改文件名
mv /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapred-site.xml
修改配置文件
vim /opt/hadoop/etc/hadoop/mapred-site.xml
添加如下文本
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
修改slaves配置文件
vim /opt/hadoop/etc/hadoop/slaves
文件分发拷贝
scp -r /opt/java/ /opt/hadoop/ hadoop002:/tmp/
scp -r /opt/java/ /opt/hadoop/ hadoop003:/tmp/
五、从节点操作
以下操作 只需在另两台台虚拟机（hadoop002、hadoop003） 进行操作
移动文件夹
mv /tmp/java /opt/
mv /tmp/hadoop /opt/
创建数据文件夹
mkdir /data
配置Hadoop与JDK环境变量
vim ~/.bashrc
在环境变量后加上如下文本
#java
export JAVA_HOME=/opt/java
export PATH=$JAVA_HOME/bin:$PATH
#hadoop
export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
保存并退出，然后刷新环境变量
source ~/.bashrc
查看版本安装
在另外 一台虚拟机（hadoop003） 重复执行上述操作
六、启动集群
切换至Hadoop安装目录
cd /opt/hadoop/sbin
格式化分布式文件系统
/opt/hadoop/bin/hadoop namenode -format
启动Hadoop，只需要在主节点（hadoop001）执行操作
./start-all.sh
查看启动进程
jps
主节点
从节点
关闭防火墙
systemctl stop firewalld
systemctl disable firewalld.service
查看防火墙状态
firewall-cmd --state
查看Web界面
192.168.131.137:50070（主节点IP:50070）
声明
本文档仅供学习交流使用，不可商用。
部分操作命令以及安装方式整理来源于网络，若有侵权请及时联系删除。
