【Hadoop】安装及单机模式
友情提示：本文适合读者人群，有一定linux操作基础，初学习Hadoop的人群
准备
- CentOS 7
- hadoop 3.3.0
- jdk 1.8
以上内容自行准备
安装JDK
解压jdk包到指定目录，默认当前目录
将jdk路径加入环境变量中
# 解压到指定目录，目录自定义，不存在请自行创建
tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/java
# 做软连接，可省略，建议有个习惯
cd /usr/local/java
ln -s jdk-8u221/ jdk
# 编辑环境变量
vi /etc/profile
# 增加jdk路径环境变量
JAVA_HOME=/usr/local/java/jdk
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME
:wq
# 刷新环境变量
source /etc/profile
# 校验java环境变量是否加入成功
java -version
安装Hadoop
安装简单，只需解压安装即可
# 解压到指定目录
tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local/hadoop
cd /usr/local/hadoop
ln -s hadoop-3.3.0 hadoop
# 增加环境变量
vi /etc/profile
HADOOP_HOME=/usr/local/hadoop/hadoop
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH HADOOP_HOME
:wq
source /etc/profile
运行模式
hadoop安装模式分为三种：
- 单机模式
- 伪分布式模式
- 集群模式
单机模式
单机模式不具备HDFS存储功能，仅用于mapper-reduce测试功能
vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
# 单机模式仅需为hadoop环境变量增加JAVA_HOME即可
export JAVA_HOME=/usr/local/java/jdk
:wq
使用时，可通过自开发的mapper-reduce测试，也可用自带的示例学习
# 目录位于 $HADOOP_HOME/share/hadoop/mapreduce
# 示例 wordcount.jar
$HADOOP/bin/hadoop jar wordcount.jar (inputfile) (outputpath)
# 注意mapper-reduce的输入文件可以多个，但输出目录必需是空的
