hadoop3.3.0安装

基础环境准备

• 虚拟环境配置
• linux集群配置

安装包目录结构

• 上传安装包到 /export/software 解压
  [root@node1 ~]# cd /export/software/
  [root@node1 software]# tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C /export/server/

配置文件修改

cd /export/server/hadoop-3.3.0/etc/hadoop

• vim hadoop-env.sh
  最下面添加:
  export JAVA_HOME=/export/server/jdk1.8.0_241
  export HDFS_NAMENODE_USER=root
  export HDFS_DATANODE_USER=root
  export HDFS_SECONDARYNAMENODE_USER=root
  export YARN_RESOURCEMANAGER_USER=root
  export YARN_NODEMANAGER_USER=root

• vim core-site.xml
  在configuration中添加以下

  <!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://node1:8020</value>
  </property>
  
  <!-- 设置Hadoop本地保存数据路径 -->
  <property>
      <name>hadoop.tmp.dir</name>
      <value>/export/data/hadoop-3.3.0</value>
  </property>
  
  <!-- 设置HDFS web UI用户身份 -->
  <property>
      <name>hadoop.http.staticuser.user</name>
      <value>root</value>
  </property>
  
  <!-- 整合hive 用户代理设置 -->
  <property>
      <name>hadoop.proxyuser.root.hosts</name>
      <value>*</value>
  </property>
  
  <property>
      <name>hadoop.proxyuser.root.groups</name>
      <value>*</value>
  </property>
  

• vim hdfs-site.xml

  <!-- 设置SNN进程运行机器位置信息 -->
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:9868</value>
  </property>
  

• vim mapred-site.xml

  <!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  
  <!-- MR程序历史服务器端地址 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
  </property>
   
  <!-- 历史服务器web端地址 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
  </property>
  
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  

• vim yarn-site.xml

  <!-- 设置YARN集群主角色运行机器位置 -->
  <property>
  	<name>yarn.resourcemanager.hostname</name>
  	<value>node1</value>
  </property>
  
  <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
  </property>
  
  <!-- 是否将对容器实施物理内存限制 -->
  <property>
      <name>yarn.nodemanager.pmem-check-enabled</name>
      <value>false</value>
  </property>
  
  <!-- 是否将对容器实施虚拟内存限制。 -->
  <property>
      <name>yarn.nodemanager.vmem-check-enabled</name>
      <value>false</value>
  </property>
  
  <!-- 开启日志聚集 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  
  <!-- 设置yarn历史服务器地址 -->
  <property>
      <name>yarn.log.server.url</name>
      <value>http://node1:19888/jobhistory/logs</value>
  </property>
  
  <!-- 保存的时间7天 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property
  

• vim workers
  node1
  node2
  node3

scp安装包到其他机器

cd /export/server
scp -r hadoop-3.3.0 root@node2:/export/server
scp -r hadoop-3.3.0 root@node3:/export/server

Hadoop环境变量配置

vim /etc/profile
复制下面内容放最后

# set hadoop env
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

复制环境到另外两台机器上,并重启配置:
[root@node1 server]# scp /etc/profile node2:/etc/
[root@node1 server]# scp /etc/profile node3:/etc/
[root@node1 server]# source /etc/profile
[root@node2 ~]# source /etc/profile
[root@node3 ~]# source /etc/profile

hadoop namenode format

(首次启动)格式化namenode
必须在node1上执行
hdfs namenode -format

在windows配置 ip地址映射

C:\Windows\System32\drivers\etc\hosts 文件后面添加
192.168.88.161 node1 node1.itcast.cn
192.168.88.162 node2 node2.itcast.cn
192.168.88.163 node3 node3.itcast.cn

Hadoop集群启动

• 单节点逐个启动
  [root@node1 server]# hdfs --daemon start namenode
  [root@node1 server]# hdfs --daemon start datanode
  [root@node1 server]# yarn --daemon start resourcemanager
  [root@node1 server]# yarn --daemon start nodemanager
  [root@node1 server]# mapred --daemon start historyserver

  [root@node2 ~]# hdfs --daemon start secondarynamenode
  [root@node2 ~]# yarn --daemon start nodemanager
  [root@node2 ~]# hdfs --daemon start datanode

  [root@node3 ~]# yarn --daemon start nodemanager
  [root@node3 ~]# hdfs --daemon start datanode
  
  
  

Hadoop初体验

浏览器打开:
HDFS集群：http://node1:9870/
YARN集群：http://node1:8088/
historyserver：http://node1:19888/

脚本一键启动关闭

[root@node1 ~]# stop-dfs.sh
[root@node1 ~]# stop-yarn.sh
[root@node1 server]# mapred --daemon stop historyserver

[root@node1 ~]# start-dfs.sh
[root@node1 ~]# start-yarn.sh
[root@node1 server]# mapred --daemon start historyserver

编写自定义一键启动脚本

[root@node1 onekey]# vim /onekey/hd1_start.sh

#!/bin/bash
/export/server/hadoop-3.3.0/sbin/start-dfs.sh
/export/server/hadoop-3.3.0/sbin/start-yarn.sh
/export/server/hadoop-3.3.0/bin/mapred --daemon start historyserver

编写自定义一键关闭

[root@node1 onekey]# vim /onekey/hd2_stop.sh

#!/bin/bash
/export/server/hadoop-3.3.0/sbin/stop-dfs.sh
/export/server/hadoop-3.3.0/sbin/stop-yarn.sh
/export/server/hadoop-3.3.0/bin/mapred --daemon stop historyserver