【大数据】Hadoop的伪分布式安装
这几天开始学习大数据，这离不开Hadoop这个Apache的经典项目。
由于Hadoop这个项目一般都是以集群方式运作，
自己学习却没有如此庞大的资源，
因此根据官网介绍，
我这里采用伪分布式集群进行安装，即单节点，多个进程扮演不同角色。
准备
虚拟机软件
VMware® Workstation 15 Pro（版本为15.0.0 build-10134415）
这里提供一个链接，自己自行操作下载哈，点我这个链接
Linux系统
CentOS 7 64位系统（这里提供下载地址）
Hadoop框架包
这里采用3.3.0版本（这里提供下载地址）
一些常用的FTP、SSH客户端
推荐采用FileZilla Client(FTP客户端)【下载地址】、MobaXterm（SSH客户端）【下载地址】
环境搭建
系统环境搭建
（1）安装Vmware软件，并进行破解，具体过程在给的链接中，这里不赘述。
（2）在Vmware中添加CentOS7系统，下图是我已经安装好的虚拟机界面，安装一个虚拟机就够，可以稍微将该虚拟机的配置调高一些，我给了内存为4G，存储为20G。
（3）将系统镜像源转换为国内，具体操作请见这篇文章
这里插个题外话，因为我们目前已经有了ssh工具以及ftp工具，因此，如果觉得虚拟机界面太丑，可以采用ssh的登陆方式，使用ftp工具向服务器拉取或推送文件，更加方便。具体如何使用，我这里不做赘述，如果不了解的小伙伴，可以下方留言，多了的话我会再写一篇博文普及一下。
（4）安装Java环境，使用如下命令
yum install -y java-1.8.0-openjdk-devel.x86_64
安装后，有如下提示证明安装成功
因为采用yum命令安装java后，会默认保存至/usr/lib/jvm/中，因此在配置环境变量的时候需要用到。
输入命令：
vim /etc/profile
在最后添加如下语句
#set java environment JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64/ JRE_HOME=$JAVA_HOME/jre CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin export JAVA_HOME JRE_HOME CLASS_PATH PATH
退出vim编辑器后，输入命令：
source /etc/profile
（5）关闭centos7系统防火墙
systemctl stop firewalld #关闭防火墙服务网
systemctl disable firewalld #设置防火墙服务开机不启动
Hadoop环境搭建
（1）使用sftp程序将下载后的hadoop压缩文件上传至/root目录下，可新建一个文件叫hadoop_files，然后对该文件进行解压,命令如下：
mkdir /hadoop_files tar -zxvf hadoop-3.3.0.tar.gz -C /hadoop_files/
(2)进入解压后的文件，再进入/etc/hadoop的子目录，修改配置文件。
（3）找到hadoop-env.sh，该文件是Hadoop的环境变量配置文件，在该配置文件中指定JAVA_HOME的路径。
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64/
（4）找到core-site.xml文件，具体配置信息如下（可参照官网对应版本配置）
<configuration>
<!-- 指定hdfs的nameservice的地址,端口为9000 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!-- 指定hadoop存储数据的目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop_files/hadoop-3.3.0/data</value>
</property>
</configuration>
（5）找到hdfs-site.xml文件，具体配置信息如下（可参照官网对应版本配置）
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
（6）找到mapred-site.xml文件，具体配置信息如下
<configuration>
<!-- 指定MapReduce运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
（7）找到yarn-site.xml文件，具体配置信息如下
<configuration>
<!-- 分别指定ResouceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<!-- 分别指定MapReduce的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
（8）将hadoop添加至系统环境变量中
vim /etc/profile
#打开文件后添加（之前已经添加了JAVA_HOME，因此不需要再次添加）
export HADOOP_HOME=/root/hadoop_files/hadoop-3.3.0/ export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
source /etc/profile初始化Hadoop
执行命令，初始化HDFS系统
hdfs namenode -format
若见到下图，
执行命令，启动hadoop
出现错误的原因是Hadoop3.x不建议使用root用户启动HDFS，因为使用root启动HDFS会出现一系列隐患问题，如果就是想用root用户启动，需要在Hadoop的安装目录sbin的start-dfs.sh命令的最前面添加如下配置。
HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root
建议创建一个用户账户专门用于Hadoop
执行命令，创建普通用户用于hadoop生产
useradd hadoop passwd hadoop
切换用户并启动hadoop，并解决一些坑！
su hadoop start-dfs.sh
你可能会遇到
那是因为hadoop是放置在/root的目录下，普通用户无法访问。因此需要对/root目录以及有关hdfs目录的权限进行松绑，让普通用户hadoop能够访问。
切换至root用户，输入以下命令
su root chmod a+rx /root
chmod 777 /root/hadoop
然后切换回hadoop，重新启动即可。
然后，你可能会遇到如下情况
那是由于没有配置ssh免密钥登录。
执行命令，并连续敲击三个回车
ssh-keygen -t rsa
然后执行，并输入当前hadoop用户密码，完成SSH免密码登录配置
ssh-copy-id localhost
继续执行命令
start-dfs.sh
出现下图则说明安装完毕！
执行命令
jps
出现下图说明hdfs启动成功！
继续执行命令
start-yarn.sh
jps
出现下图说明yarn启动成功！
测试Hadoop环境
这里说明一下，Hadoop的2.x版本和3.x版本中，端口发生了变化，具体变化请看下图：
或者访问网址查看：https://blog.csdn.net/qq_31454379/article/details/105439752
首先查询虚拟机的ip地址
ip addr
在chrome浏览器上，输入192.168.206.128:9870，这是HDFS的管理界面
然后输入http://192.168.206.128:8088/
发现无法访问，我对此问题进行了排查，输入命令
netstat -nltp|grep 8088
继续输入命令
9870
发现问题！！！一个是0.0.0.0，一个是127.0.0.1！！！！
解决方案是进入hadoop安装目录下修改yarn的配置文件。
vim /root/hadoop_files/hadoop-3.3.0/etc/hadoop/yarn-site.xml
添加如下配置
<property> <name>yarn.resourcemanager.webapp.address</name> <value>0.0.0.0:8088</value> </property>
重新启动yarn
stop-yarn.sh start-yarn.sh
正常了
然后在chrome中输入http://192.168.206.128:8088，访问正常！
至此，一个伪分布式的Hadoop集群就安装完毕！！！！
