【Hadoop】安装及单机模式

友情提示：本文适合读者人群，有一定linux操作基础，初学习Hadoop的人群

准备

• CentOS 7
• hadoop 3.3.0
• jdk 1.8

以上内容自行准备

安装JDK

解压jdk包到指定目录，默认当前目录
将jdk路径加入环境变量中

# 解压到指定目录，目录自定义，不存在请自行创建
tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/java
# 做软连接，可省略，建议有个习惯
cd /usr/local/java
ln -s jdk-8u221/ jdk

# 编辑环境变量
vi /etc/profile

# 增加jdk路径环境变量
JAVA_HOME=/usr/local/java/jdk
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME

:wq
# 刷新环境变量
source /etc/profile
# 校验java环境变量是否加入成功
java -version

安装Hadoop

安装简单，只需解压安装即可

# 解压到指定目录
tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local/hadoop
cd /usr/local/hadoop
ln -s hadoop-3.3.0 hadoop

# 增加环境变量
vi /etc/profile

HADOOP_HOME=/usr/local/hadoop/hadoop
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH HADOOP_HOME

:wq
source /etc/profile

运行模式

hadoop安装模式分为三种：

1. 单机模式
2. 伪分布式模式
3. 集群模式

单机模式

单机模式不具备HDFS存储功能，仅用于mapper-reduce测试功能

vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

# 单机模式仅需为hadoop环境变量增加JAVA_HOME即可
export JAVA_HOME=/usr/local/java/jdk

:wq

使用时，可通过自开发的mapper-reduce测试，也可用自带的示例学习

# 目录位于 $HADOOP_HOME/share/hadoop/mapreduce
# 示例 wordcount.jar
$HADOOP/bin/hadoop jar wordcount.jar (inputfile) (outputpath)
# 注意mapper-reduce的输入文件可以多个，但输出目录必需是空的