hadoop配置

基础准备

sudo apt install ssh pdsh # 安装 ssh
sudo apt install openjdk-8-jdk  # 安装 jdk8

在.bashrc文件中添加：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

下载hadoop压缩包并解压：

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.3.6.tar.gz  # 从清华镜像源下载
tar -zxvf hadoop-3.3.6.tar.gz
rm hadoop-3.3.6.tar.gz  # 可选择是否要移除压缩包

修改 hadoop-env.sh 文件

cd hadoop-3.3.6/
vim etc/hadoop/hadoop-env.sh

在文件中写入export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

配置 ssh 免密登录本机

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

检查是否配置成功ssh localhost

伪分布式配置

在etc/hadoop/core-site.xml中：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

在etc/hadoop/hdfs-site.xml中：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

格式化文件系统：bin/hdfs namenode -format
注意：在执行 sbin/start-dfs.sh 时我遇到了错误，参考解决方案得到解答，需要先在.bashrc中添加export PDSH_RCMD_TYPE=ssh后才能执行下一步
启动NameNode守护进程和DataNode守护进程：sbin/start-dfs.sh

然后就可以在浏览器中查看 hadoop 的 web 页面
注意，如果你使用的是本机/虚拟机，你应该在浏览器中输入http://localhost:9870/
如果你使用的是云服务器，你应该在浏览器中输入服务器的公网ip:9870/

使用以下命令停止守护进程：sbin/stop-dfs.sh

单节点 yarn 配置

在etc/hadoop/mapred-site.xml中：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

在etc/hadoop/yarn-site.xml中：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>