Centos7下Hadoop2.7.7单机模式安装配置

 

环境介绍:Centos7 + jdk1.8.0_211
首先、安装JDK1.8.0，详情请移步
Centos7下安装配置JDK

创建一个用户hadoop，当然也可以使用root用户操作。(我的是使用root操作)
可以创建一个linux用户叫hadoop作为Hadoop的工作者，因为root下是很危险的。

sudo useradd -m hadoop -s /bin/bash    #创建hadoop用户
sudo passwd hadoop #设置密码
sudo adduser hadoop sudo  #增加管理员权限

 

关闭防火墙(建议关闭、当然也可以自己开放端口)
Centos7下防火墙的操作

# firewall-cmd --state  查看防火墙状态
# systemctl stop firewalld.service  关闭防火墙
# systemctl disable firewalld.service  禁止开机时防火墙自启

 

解压配置Hadoop环境变量：

tar -xzvf hadoop-2.7.7.tar.gz
ln -s hadoop-2.7.7 hadoop  #创建软连接
vim ~/.bashrc #编辑文件设置环境变量
在环境变量中加入如下：
export HADOOP_HOME=/root/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后重载配置生效：
source ~/.bashrc

 

验证Hadoop环境变量是否正常：

 whereis hdfs

 

配置hadoop的配置文件:

cd /hadoop-2.7.7/etc/hadoop

 

查看jdk位置： echo $JAVA_HOME 
修改hadoop-env.sh文件：vim hadoop-env.sh
把 export JAVA_HOME=${JAVA_HOME}一行中的${JAVA_HOME}改为jdk地址。
至此、hadoop单机版已经配置完成。
测试MapReduce程序,先创建一个输入目录:

mkdir ~/input
cd ~/input

 

创建文件并、随便写入一些内容:

vim data.txt 

 

进入mapreduce程序目录并执行脚本函数:

cd ~/hadoop-2.7.7/share/hadoop/mapreduce  #
hadoop jar hadoop-mapreduce-examples-2.7.7.jar wordcount ~/input/data.txt ~/output

 

查看结果：

cd ~/output
cat part-r-00000