03安装hadoop

安装Hadoop

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

1）用SecureCRT工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

切换到sftp连接页面，选择Linux下编译的hadoop jar包拖入

2）进入到Hadoop安装包路径下

cd /opt/software/

3）解压安装文件到/opt/module下面

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4）查看是否解压成功

ls /opt/module/

hadoop-3.1.3

5）将Hadoop添加到环境变量

（1）获取Hadoop安装路径

pwd

/opt/module/hadoop-3.1.3

（2）打开/etc/profile.d/my_env.sh文件

sudo vim /etc/profile.d/my_env.sh

在profile文件末尾添加JDK路径：（shitf+g）

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存后退出

:wq

（4）让修改后的文件生效

source /etc/profile

6）测试是否安装成功

hadoop version

Hadoop 3.1.3

7）重启(如果Hadoop命令不能用再重启)

sync

sudo reboot

Hadoop目录结构

1）查看Hadoop目录结构

进入Hadoop的目录然后查看

ll

总用量 52

drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 bin

drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 etc

drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 include

drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 lib

drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 libexec

-rw-r--r--. 1 atguigu atguigu 15429 5月  22 2017 LICENSE.txt

-rw-r--r--. 1 atguigu atguigu   101 5月  22 2017 NOTICE.txt

-rw-r--r--. 1 atguigu atguigu  1366 5月  22 2017 README.txt

drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 sbin

drwxr-xr-x. 4 atguigu atguigu  4096 5月  22 2017 share

2）重要目录

（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本

（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

单机和集群模式运行Hadoop

单机模式

1）创建在hadoop-3.1.3文件下面创建一个wcinput文件夹

cd /opt/module/hadoop-3.1.3

mkdir wcinput

2）在wcinput文件下创建一个wc.input文件

cd wcinput

3）编辑wc.input文件

vi wc.input

在文件中输入如下内容

hadoop yarn
hadoop mapreduce
atguigu
atguigu

保存退出：：wq

4）回到Hadoop目录/opt/module/hadoop-3.1.3

cd /opt/module/hadoop-3.1.3

5）执行程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

6）查看结果

cat wcoutput/part-r-00000

看到如下结果：

atguigu 2

hadoop  2

mapreduce       1

yarn    1

集群模式

创建集群同步脚本

第一步：在/home/atguigu目录下创建xsync文件
cd /home/atguigu
vim xsync
添加如下内容

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop101 hadoop102 hadoop103
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

第二步：修改脚本 xsync 具有执行权限
chmod +x xsync
第三步：将脚本移动到/bin中，以便全局调用
sudo mv xsync /bin/
第四步：测试脚本
sudo xsync /bin/xsync

同步文件

同步java
xsync /opt/module/jdk1.8.0_144/
同步Hadoop
xsync /opt/module/hadoop-3.1.3
发送系统文件需要使用sudo命令以root的身份工作
sudo xsync /etc/profile.d/my_env.sh
批量重新加载配置文件
CRT -> view -> command windows -> 右键 -> send command to -> All Sessions
source /etc/profile.d/my_env.sh

测试同步是否OK

java -version

hadoop version

集群配置

1）集群部署规划

         注意：NameNode和SecondaryNameNode不要安装在同一台服务器

         注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

 

hadoop101

hadoop102

hadoop103

HDFS

 

NameNode

DataNode

 

DataNode

SecondaryNameNode

DataNode

YARN

 

NodeManager

ResourceManager

NodeManager

 

NodeManager

2）配置集群

进入Hadoop的解压目录
cd $HADOOP_HOME/etc/hadoop
我们配置的环境变量是 /opt/module/hadoop-3.1.3
第一步：核心配置文件
vim core-site.xml
修改后的内容

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
    <property>
        <name>hadoop.proxyuser.atguigu.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.atguigu.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>
</configuration>

第二步：HDFS配置文件
vim hdfs-site.xml
修改后的内容

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop102:9868</value>
    </property>
</configuration>

第三步：YARN配置文件
vim yarn-site.xml
修改后的内容

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

第四步：MapReduce配置文件
vim mapred-site.xml
修改后的内容

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

第五步：在集群上分发配置好的Hadoop配置文件
xsync /opt/module/hadoop-3.1.3/etc/hadoop/
第六步：查看文件分发情况
cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

启动集群

第一步：配置workers
vim /opt/module/hadoop-3.1.3/etc/hadoop/workers
在该文件中增加如下内容：
hadoop101
hadoop102
hadoop103
注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
同步所有节点配置文件
xsync /opt/module/hadoop-3.1.3/etc

第二步：启动集群
如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

当前目录是 /opt/module/hadoop-3.1.3/etc/hadoop

hdfs namenode -format
启动HDFS
start-dfs.sh
在配置了ResourceManager的节点（hadoop103）启动YARN
start-yarn.sh
Web端查看SecondaryNameNode
（a）浏览器中输入：http://hadoop102:9868/status.html
（b）查看SecondaryNameNode信息

集群启动/停止方式总结

1）各个服务组件逐一启动/停止
分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
启动/停止YARN
yarn --daemon start/stop resourcemanager/nodemanager
2）各个模块分开启动/停止（配置ssh是前提）常用
整体启动/停止HDFS
start-dfs.sh/stop-dfs.sh
整体启动/停止YARN
start-yarn.sh/stop-yarn.sh

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：
1）配置mapred-site.xml
vi mapred-site.xml
在该文件里面增加如下配置

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

2）分发配置
xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
3）在hadoop101启动历史服务器
mapred --daemon start historyserver
4）查看历史服务器是否启动
jps
5）查看JobHistory
http://hadoop101:19888/jobhistory

 

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下：

1）配置yarn-site.xml

vim yarn-site.xml

在该文件里面增加如下配置。

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://${yarn.timeline-service.webapp.address}/applicationhistory/logs</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
<property>
    <name>yarn.timeline-service.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.timeline-service.hostname</name>
    <value>${yarn.resourcemanager.hostname}</value>
</property>
<property>
    <name>yarn.timeline-service.http-cross-origin.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.resourcemanager.system-metrics-publisher.enabled</name>
    <value>true</value>
</property>

2）分发配置

xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3）关闭NodeManager 、ResourceManager和HistoryServer

在103上执行： stop-yarn.sh

在101上执行： mapred --daemon stop historyserver

4）启动NodeManager 、ResourceManage、Timelineserver和HistoryServer

在103上执行：start-yarn.sh

在103上执行：yarn --daemon start timelineserver

在101上执行：mapred --daemon start historyserver

5）删除HDFS上已经存在的输出文件

hdfs dfs -rm -R /user/atguigu/output

6）执行WordCount程序

hadoop jar  $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/atguigu/input /user/atguigu/output

7）查看日志，

http://hadoop101:19888/jobhistory

 

集群时间同步

时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。

配置时间同步具体实操：

1）时间服务器配置（必须root用户）

（1）在所有节点关闭ntp服务和自启动

sudo systemctl stop ntpd

sudo systemctl disable ntpd

（2）修改ntp配置文件

vim /etc/ntp.conf

修改内容如下

a）修改1（授权192.168.180.0-192.168.180.255网段上的所有机器可以从这台机器上查询和同步时间）

#restrict 192.168.180.0 mask 255.255.255.0 nomodify notrap

为restrict 192.168.180.0 mask 255.255.255.0 nomodify notrap

 b）修改2（集群在局域网中，不使用其他互联网上的时间）

server 0.centos.pool.ntp.org iburst

server 1.centos.pool.ntp.org iburst

server 2.centos.pool.ntp.org iburst

server 3.centos.pool.ntp.org iburst

为

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

c）添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）

server 127.127.1.0

fudge 127.127.1.0 stratum 10

（3）修改/etc/sysconfig/ntpd 文件

vim /etc/sysconfig/ntpd

增加内容如下（让硬件时间与系统时间一起同步）

SYNC_HWCLOCK=yes

（4）重新启动ntpd服务

systemctl start ntpd

（5）设置ntpd服务开机启动

systemctl enable ntpd

2）其他机器配置（必须root用户）

（1）在其他机器配置10分钟与时间服务器同步一次

crontab -e

编写定时任务如下：

*/10 * * * * /usr/sbin/ntpdate hadoop102

（2）修改任意机器时间

date -s "2017-9-11 11:11:11"

（3）十分钟后查看机器是否与时间服务器同步

date

说明：测试的时候可以将10分钟调整为1分钟，节省时间。

 

posted @ 2021-06-05 13:27  程序员008  阅读(105)  评论(0)  编辑  收藏  举报