2-Hadoop单机伪分布环境搭建

Hadoop安装配置

服务器版本

lsb_release -d
# CentOS Linux release 8.3.2011

创建hadoop用户

su
# 输入root，密码，以root用户登陆
useradd -m hadoop -s /bin/bash
# 创建可以登陆的hadoop用户，并使用/bin/bash 作为shell
passwd hadoop
# 修改密码，按提示输入两次密码，提示密码少于8个字符，再次输入passwd hadoop，即可
visudo
# 为hadoop用户增加管理员权限，方便部署,找到root ALL=(ALL) ALL这行,下面增加一行内容：hadoop ALL=(ALL) ALL
exit
# 退出当前root登陆
su hadoop
# 切换到hadoop用户

安装SSH、配置SSH无密码登陆

rpm -qa | grep ssh
# 如果有返回，且包含SSH client跟SSH server，则不需要再安装
# 若需要安装，则可以通过 yum 进行安装，sudo yum install openssh-clients，sudo yum install openssh-server
ssh localhost
# 测试一下 SSH 是否可用，输入密码hadoop即可登陆本机，exit退出本次登录
cd ~/.ssh/
ssh-keygen -t rsa
# 有提示，一直按回车就可以
cat id_rsa.pub >> authorized_keys
# 加入授权
chmod 600 ./authorized_keys
# 修改文件权限，拥有者可读写，其他人不可以
ssh localhost
# 即可无密码登录，exit退出本次登录

安装Java环境

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel
# 通过 yum 进行安装 JDK
vim ~/.bashrc
# 配置一下 JAVA_HOME 环境变量，为方便，在 ~/.bashrc 中进行设置
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
# 在文件最后面添加如下单独一行（指向 JDK 的安装位置），并保存
source ~/.bashrc
# 使变量设置生效
echo $JAVA_HOME
# 检验变量值
java -version
# 与直接执行$JAVA_HOME/bin/java -version一样

安装Hadoop2

cd ~
mkdir downloads
# 进入hadoop用户家目录，新建文件夹，上传hadoop-2.10.1.tar.gz文件，下载来源：https://archive.apache.org/dist/hadoop/common/hadoop-2.10.1/
yum install -y perl-Digest-SHA
# 回到root用户，安装perl-Digest-SHA，切换hadoop用户
shasum -a 512 ./hadoop-2.10.1.tar.gz | tr "a-z" "A-Z"
# 计算得到文件sha值，与官网hadoop-2.10.1.tar.gz.sha512比对，原文件未被修改
# 计算：2460E02CD1F80DFED7A8981BBC934C095C0A341435118BEC781FD835EC2EBDC5543A03D92D24F2DDEEBDFE1C2C460065BA1D394ED9A73CBB2020B40A8D8B5E07
# 原始：2460E02CD1F80DFED7A8981BBC934C095C0A341435118BEC781FD835EC2EBDC5543A03D92D24F2DDEEBDFE1C2C460065BA1D394ED9A73CBB2020B40A8D8B5E07
sudo tar -zxf ./hadoop-2.10.1.tar.gz -C /usr/local
# 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.10.1/ ./hadoop
sudo chown -R hadoop:hadoop ./hadoop
# 将文件夹名改为hadoop，修改文件权限
cd /usr/local/hadoop
./bin/hadoop version
# Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息

Hadoop单机配置(非分布式)，注意.目录指的是/usr/local/hadoop

cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/*
rm -r ./output
# 将配置文件作为输入文件，查找'dfs[a-z.]+'，Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除

Hadoop伪分布式配置

vim ~/.bashrc
# 设置 HADOOP 环境变量，执行如下命令在 ~/.bashrc 中设置,Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件
# Hadoop Environment Variables
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
# 在文件最后面增加配置内容
source ~/.bashrc
# 生效配置，注意端口是否开放以及是否被占用
cd /usr/local/hadoop/etc/hadoop/
vim core-site.xml
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:8020</value>
    </property>
</configuration>
vim hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>
# Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml
cd /usr/local/hadoop
./bin/hdfs namenode -format
# 配置完成后，执行 NameNode 的格式化
./sbin/start-dfs.sh
# 开启 NaneNode 和 DataNode 守护进程
jps
# 判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode”和SecondaryNameNode,访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件

运行Hadoop伪分布式实例

./bin/hdfs dfs -mkdir -p /user/hadoop
# 要使用 HDFS，首先需要在 HDFS 中创建用户目录
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input
# 接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户，并且已创建相应的用户目录 /user/hadoop ，因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /user/hadoop/input
./bin/hdfs dfs -ls input
# 复制完成后，可以通过如下命令查看 HDFS 中的文件列表
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
./bin/hdfs dfs -cat output/*
# 伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件
rm -r ./output
./bin/hdfs dfs -get output ./output
cat ./output/*
# 将运行结果取回到本地
./bin/hdfs dfs -rm -r output
# Hadoop 运行程序时，输出目录不能存在，否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ，因此若要再次执行，需要执行如下命令删除 output 文件夹
./sbin/stop-dfs.sh
# 关闭 Hadoop
./sbin/start-dfs.sh
# 启动hadoop

启动YARN

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
vim ./etc/hadoop/mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
vim ./etc/hadoop/yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>
</configuration>
# 修改配置文件 mapred-site.xml，这边需要先进行重命名
./sbin/start-yarn.sh
# 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver
# 开启历史服务器，才能在Web中查看任务运行情况
jps
# 开启后通过 jps 查看，可以看到多了 NodeManager 和 ResourceManager 两个后台进程,YARN 有个好处是可以通过 Web 界面查看任务的运行情况：http://localhost:8088/cluster