（记录自用，参考价值低）分布式大数据处理Hadoop学习与探索2：hadoop环境搭建

一、实验环境

使用vmware创建了3个虚拟机。
具体配置：
版本CentOS 7.5 内存4GB 4核心（2 * 2）磁盘100GB 最小化安装名称：superPC01 ip：192.168.10.135
版本CentOS 7.5 内存3GB 2核心（1 * 2）磁盘100GB 最小化安装名称：superPC02 ip：192.168.10.136
版本CentOS 7.5 内存3GB 2核心（1 * 2）磁盘100GB 最小化安装名称：superPC03 ip：192.168.10.137
安装ifconfig命令相关的组件，方便查看网络ip。
配置连网、静态ip。

二、参考博客与实验内容

很全面的搭建过程博客：https://blog.csdn.net/tang5615/article/details/120382513
实验内容：搭建、测试hadoop环境

三、安装前准备

三个虚拟机新建hadoop用户（大数据相关内容使用该用户完成），配置ip地址映射，配置ssh互信
弄个xshell远程连接，操作更方便

四、Java、Hadoop安装

节点分配：

下载、解压、配置环境变量：

版本：hadoop-3.1.3、jdk-1.8
安装目录（三个节点相同）：/opt/module/hadoop-3.1.3/ /opt/module/java-1.8/
推荐安装操作顺序：1.压缩文件上传到super01 2.解压到/opt/module/目录 3.直接使用scp将module目录拷贝到另外两个虚拟机
scp拷贝

scp -r /opt/module/ hadoop@super02:/opt/
scp -r /opt/module/ hadoop@super03:/opt/

环境变量配置

1. /etc/profile文件尾部添加

export JAVA_HOME=/opt/module/jdk-1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/opt/module/hadoop-3.1.3/
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2. 刷新环境变量
source /etc/profile

五、Hadoop配置

配置文件

hadoop-env.sh：配置java路径
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
slaves

基本配置

根据二、参考博客的博客中配置即可。时间有限，之后再补充。

问题记录

配置ssh互信的问题：
博客中使用root用户搭建hadoop集群，建议专门新建一个hadoop用户来搭建，所以配置ssh互信时注意配置hadoop用户（即使用hadoop用户使用配置互信的命令就可以了）
另外，super01也必须要使用命令 ssh-copy-id super01，其他节点也一样
否则报错：Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)
格式化namenode的问题
注意先将hadoop文件传送到另外两个节点，再进行namenode格式化。这里有问题，可以重新格式化namenode。
重新格式化namenode之前注意：所有节点的{hadoop_home}/tmp和{hadoop_home}/logs目录要清空。
否则会导致有些datanode启动不了。
启动有问题，一定要查日志，日志目录：{hadoop_home}/logs。
内存
开3虚拟机+浏览器，内存到95左右了，电脑比较卡。
虚拟机实际内存使用主节点（super01）：1.4GB/4GB 副节点（super02）：800MB/3GB 副节点（super03）：600MB/3GB。
后续再调整下。
web页面显示
hdfs页面的总览显示3个datanode节点，但是datanode页面中只显示一个，暂时未解决。