Hadoop运行环境搭建

1. 1.  虚拟机环境准备

   1.1准备虚拟机（Centos7）

   1.2配置静态IP

   (1) 修改网卡配置文件

    vi /etc/sysconfig/network-scripts/ifcfg-ens33    #(最后一个为网卡名称)

    

   (2) 虚拟机修改和添加,按i进入编辑模式

   bootproto=static

   onboot=yes

   IPADDR=192.168.1.160 #IP地址,和主机同一个网段即可

   NETMASK=255.255.255.0 #子网掩码

   GATEWAY=192.168.1.1 #网关

   DNS1=119.29.29.29 #dns服务器

   DNS2=8.8.8.8 #dns服务器

    

    

   (3)  保存并退出

   :wq

    

   (4)  重启网络服务

   systemctl restart network

    

   (5)  输入命令查看虚拟机IP地址

   ip addr

    

   (6)  测试ping通外网

   ping www.baidu.com

    

   1.3创建hadoop用户并赋予root权限

   (1) 创建用户

   adduser hadoop

   (2) 添加组

   groupadd hadoop

    

   (3) 用户修改组

   usermod -G hadoop hadoop   # groupname   username

   (4) 修改密码

   passwd hadoop

   (5) 通过root账号赋权

   chmod +w /etc/sudoers

    

   (6) 编辑/etc/sudoers

   vi /etc/sudoers

   (7) 添加如下内容

   hadoop ALL=(ALL) ALL

   (8) 取消 sudoers 文件可写权限

   chmod -w /etc/sudoers

   (9) 切换hadoop用户

   su hadoop

    

   1.4修改主机名

   (1) 编辑文件hostsname

   sudo vi /etc/hostname

   (2) 删除原有的，输入想要的主机名

    

   (3) 保存并退出

   :wq

   1.5关闭防火墙

   sudo systemctl stop firewalld

    

   1.6在/opt目录下创建文件夹

   (1) 在/opt目录下创建module、software文件夹

   sudo mkdir /opt/module

   sudo mkdir /opt/software

   (2) 修改module、software文件夹的所有者cd

   sudo chown hadoop:hadoop /opt/module/ /opt/software/

   (3) 查看文件所属者

   ll /opt

    

   2.  安装JDK

   2.1.卸载现有JDK

   (1)查询是否安装Java软件：

   rpm -qa | grep java

   (2)如果安装的版本低于1.7，卸载该JDK：

   sudo rpm -e 软件包

   (3)查看JDK安装路径：

   which java

    

   2.2通过第Finalshell将下载好的JDK导入到opt目录下面的software文件夹下

   2.3在Linux系统下的opt目录中查看软件包是否导入成功

   cd /opt/software

   ls

   2.4解压JDK到/opt/module目录下

   tar -zxvf jdk-8u65-linux-x64.tar.gz -C /opt/module/

    

   2.5配置JDK环境变量

   （1）先获取JDK路径

   [hadoop@master jdk1.8.0_65]$ pwd

   /opt/module/jdk1.8.0_65

   （2）打开/etc/profile文件

   [hadoop@master jdk1.8.0_65]$ sudo vi /etc/profile

   在profile文件末尾添加JDK路径

   #JAVA_HOME

   export JAVA_HOME=/opt/module/jdk1.8.0_65

   export PATH=$PATH:$JAVA_HOME/bin

   （3）保存后退出

   :wq

   （4）让修改后的文件生效

   [hadoop@master jdk1.8.0_65]$ source /etc/profile

    

    

   2.6测试JDK是否安装成功

   [hadoop@master jdk1.8.0_65]$ java -version

   3.  安装Hadoop

   3.1 Hadoop下载地址

   https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/

    

   3.2用Finalshell工具将hadoop-2.7.1.tar.gz导入到opt目录下面的software文件夹下面

   如2.2一般操作

   3.3 解压Hadoop

   [hadoop@master software]$ tar -zxvf hadoop-2.7.1_64bit.tar.gz -C /opt/module/

   [hadoop@master software]$ cd /opt/module/hadoop-2.7.1/

   3.4 将Hadoop添加到环境变量

   （1）获取Hadoop安装路径

   [hadoop@master hadoop-2.7.1]$ pwd

   /opt/module/hadoop-2.7.1

   （2）打开/etc/profile文件

   [hadoop@master hadoop-2.7.1]$ sudo vi /etc/profile

   在profile文件末尾添加JDK路径：（shitf+g）

   ##HADOOP_HOME

   export HADOOP_HOME=/opt/module/hadoop-2.7.1

   export PATH=$PATH:$HADOOP_HOME/bin

   export PATH=$PATH:$HADOOP_HOME/sbin

   （3）保存后退出

   :wq

   （4）让修改后的文件生效

   [atguigu@ hadoop101 hadoop-2.7.1]$ source /etc/profile

   3.5 测试是否安装成功

   [hadoop@master hadoop-2.7.1]$ hadoop version

   Hadoop 2.7.1

    

   3.6 Hadoop目录结构

   （1）查看hadoop目录

   [hadoop@master hadoop-2.7.1]$ ll

   总用量 28

   drwxr-xr-x. 2 hadoop hadoop   194 6月  29 2015 bin

   drwxr-xr-x. 3 hadoop hadoop    20 6月  29 2015 etc

   drwxr-xr-x. 2 hadoop hadoop   106 6月  29 2015 include

   drwxr-xr-x. 3 hadoop hadoop    20 6月  29 2015 lib

   drwxr-xr-x. 2 hadoop hadoop   239 6月  29 2015 libexec

   -rw-r--r--. 1 hadoop hadoop 15429 6月  29 2015 LICENSE.txt

   -rw-r--r--. 1 hadoop hadoop   101 6月  29 2015 NOTICE.txt

   -rw-r--r--. 1 hadoop hadoop  1366 6月  29 2015 README.txt

   drwxr-xr-x. 2 hadoop hadoop  4096 6月  29 2015 sbin

   drwxr-xr-x. 4 hadoop hadoop    31 6月  29 2015 share

    

   （2）重要目录

   bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本

   etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

   lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

   sbin目录：存放启动或停止Hadoop相关服务的脚本

   share目录：存放Hadoop的依赖jar包、文档、和官方案例

    

   4.  Hadoop运行模式

   Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

   Hadoop官方网站：http://hadoop.apache.org/

   4.1本地运行模式

   4.1.1官方Grep案例

   （1）创建在hadoop-2.7.1文件下面创建一个input文件夹

   [hadoop@master hadoop-2.7.1]$ mkdir input

   （2）将Hadoop的xml配置文件复制到input

   [hadoop@master hadoop-2.7.1]$ cp etc/hadoop/*.xml input

   （3）执行share目录下的MapReduce程序

   [hadoop@master hadoop-2.7.1]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output 'dfs[a-z.]+'

   （4）查看输出结果

   [hadoop@master hadoop-2.7.1]$ cat output/*

   1       dfsadmin

    

   4.1.2 官方WordCount案例

   （1）创建在hadoop-2.7.1文件下面创建一个wcinput文件夹

   [hadoop@master hadoop-2.7.1]$ mkdir wcinput

   （2）在wcinput文件下创建一个wc.input文件

   [hadoop@master hadoop-2.7.1]$ cd wcinput

   [hadoop@master wcinput]$ touch wc.input

   （3）编辑wc.input文件

   [hadoop@master wcinput]$ vi wc.input

   在文件中输入如下内容

   hadoop yarn

   hadoop mapreduce

   taike

   taike

   保存退出：：wq

   （4）回到Hadoop目录/opt/module/hadoop-2.7.1

   （5）执行程序

   [hadoop@master hadoop-2.7.1]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount wcinput wcoutput

   （6）查看结果

   [hadoop@master hadoop-2.7.1]$ cat wcoutput/part-r-00000

    

   4.2伪分布式运行模式

   4.2.1 启动HDFS并运行MapReduce程序

   1.  分析

   （1）配置集群

   （2）启动、测试集群增、删、查

   （3）执行WordCount案例

   2.  执行步骤

   （1）配置集群

   （a）配置：hadoop-env.sh

   Linux系统中获取JDK的安装路径：

   [hadoop@master hadoop-2.7.1]$ echo $JAVA_HOME

   /opt/module/jdk1.8.0_65

   修改JAVA_HOME 路径：

   export JAVA_HOME=/opt/module/jdk1.8.0_65

   （b）配置：/opt/module/hadoop-2.7.1/etc/hadoop/core-site.xml

   <!-- 指定HDFS中NameNode的地址 -->

   <property>

   <name>fs.defaultFS</name>

       <value>hdfs://master:9000</value>

   </property>

    

   <!-- 指定Hadoop运行时产生文件的存储目录 -->

   <property>

            <name>hadoop.tmp.dir</name>

            <value>/opt/module/hadoop-2.7.1/data/tmp</value>

   </property>

   （c）配置：/opt/module/hadoop-2.7.1/etc/hadoop/hdfs-site.xml

   <!-- 指定HDFS副本的数量 -->

   <property>

            <name>dfs.replication</name>

            <value>1</value>

   </property>

   （2）启动集群

   （a）格式化NameNode（第一次启动时格式化，以后就不要总格式化）

   [hadoop@master hadoop-2.7.1]$ bin/hdfs namenode -format

   （b）启动NameNode

   [hadoop@master hadoop-2.7.1]$ sbin/hadoop-daemon.sh start namenode

   （c）启动DataNode

   [hadoop@master hadoop-2.7.1]$ sbin/hadoop-daemon.sh start datanode

   （3）查看集群

   （a）查看是否启动成功

   [hadoop@master hadoop-2.7.1]$ jps

   13586 NameNode

   13668 DataNode

   13786 Jps

   注意：jps是JDK中的命令，不是Linux命令。不安装JDK不能使用jps

   （b）web端查看HDFS文件系统

   http://master:50070/dfshealth.html#tab-overview

   注意：如果不能查看，看如下帖子处理

   http://www.cnblogs.com/zlslch/p/6604189.html

   （c）查看产生的Log日志

   说明：在企业中遇到Bug时，经常根据日志提示信息去分析问题、解决Bug。

   当前目录：/opt/module/hadoop-2.7.1/logs

   [hadoop@master hadoop-2.7.1]$ ls

   hadoop-atguigu-datanode-hadoop.atguigu.com.log

   hadoop-atguigu-datanode-hadoop.atguigu.com.out

   hadoop-atguigu-namenode-hadoop.atguigu.com.log

   hadoop-atguigu-namenode-hadoop.atguigu.com.out

   SecurityAuth-root.audit

   [hadoop@master hadoop-2.7.1]$ cat hadoop-atguigu-datanode-hadoop101.log

   （d）思考：为什么不能一直格式化NameNode，格式化NameNode，要注意什么？

   [hadoop@master hadoop-2.7.1]$ cd data/tmp/dfs/name/current/

   [hadoop@master hadoop-2.7.1]$ cat VERSION

   clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837

    

   [hadoop@master hadoop-2.7.1]$ cd data/tmp/dfs/data/current/

   clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837

    

   注意：格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。

   （4）操作集群

   （a）在HDFS文件系统上创建一个input文件夹

   [hadoop@master hadoop-2.7.1]$ bin/hdfs dfs -mkdir -p /user/atguigu/input

   （b）将测试文件内容上传到文件系统上

   [hadoop@master hadoop-2.7.1]$bin/hdfs dfs -put wcinput/wc.input

     /user/atguigu/input/

   （c）查看上传的文件是否正确

   [hadoop@master hadoop-2.7.1]$bin/hdfs dfs -ls  /user/atguigu/input/

   [hadoop@master hadoop-2.7.1]$bin/hdfs dfs -cat  /user/atguigu/ input/wc.input

   （d）运行MapReduce程序

   [hadoop@master hadoop-2.7.1]$bin/hadoop jar

   share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /user/atguigu/input/ /user/atguigu/output

   （e）查看输出结果

   命令行查看：

   [hadoop@master hadoop-2.7.1]$bin/hdfs dfs -cat /user/atguigu/output/*

   （f）将测试文件内容下载到本地

   [hadoop@master hadoop-2.7.1]$ hdfs dfs -get /user/atguigu/output/part-r-00000 ./wcoutput/

   （g）删除输出结果

   [hadoop@master hadoop-2.7.1]$ hdfs dfs -rm -r /user/atguigu/output

   4.2.2 启动YARN并运行MapReduce程序

   1.    分析

            （1）配置集群在YARN上运行MR

            （2）启动、测试集群增、删、查

            （3）在YARN上执行WordCount案例

   2.    执行步骤      

            （1）配置集群

            （a）配置yarn-env.sh

   配置一下JAVA_HOME

   export JAVA_HOME=/opt/module/jdk1.8.0_65

   （b）配置yarn-site.xml

   <!-- Reducer获取数据的方式 -->

   <property>

                   <name>yarn.nodemanager.aux-services</name>

                   <value>mapreduce_shuffle</value>

   </property>

    

   <!-- 指定YARN的ResourceManager的地址 -->

   <property>

   <name>yarn.resourcemanager.hostname</name>

   <value>master</value>

   </property>

   （c）配置：mapred-env.sh

   配置一下JAVA_HOME

   export JAVA_HOME=/opt/module/jdk1.8.0_65

   （d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

   [atguigu@hadoop101 hadoop]$ mv mapred-site.xml.template mapred-site.xml

   [atguigu@hadoop101 hadoop]$ vi mapred-site.xml

    

   <!-- 指定MR运行在YARN上 -->

   <property>

                     <name>mapreduce.framework.name</name>

                     <value>yarn</value>

   </property>

   （2）启动集群

   （a）启动前必须保证NameNode和DataNode已经启动

   （b）启动ResourceManager

   [hadoop@master hadoop]$ sbin/yarn-daemon.sh start resourcemanager

   （c）启动NodeManager

   [hadoop@master hadoop]$ sbin/yarn-daemon.sh start nodemanager

   （3）集群操作

   （a）YARN的浏览器页面查看

   http://master:8088/cluster

    

   （b）删除文件系统上的output文件

   [hadoop@master hadoop]$ bin/hdfs dfs -rm -R /user/atguigu/output

   （c）执行MapReduce程序

   [[hadoop@master hadoop]$ bin/hadoop jar

   share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /user/atguigu/input  /user/atguigu/output

   （d）查看运行结果

   [hadoop@master hadoop]$ bin/hdfs dfs -cat /user/atguigu/output/*

    

    

   4.2.3 配置文件说明

   Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

   （1）默认配置文件：

   表4-1

   要获取的默认文件	文件存放在Hadoop的jar包中的位置
   [core-default.xml]	hadoop-common-2.7.1.jar/ core-default.xml
   [hdfs-default.xml]	hadoop-hdfs-2.7.1.jar/ hdfs-default.xml
   [yarn-default.xml]	hadoop-yarn-common-2.7.1.jar/ yarn-default.xml
   [mapred-default.xml]	hadoop-mapreduce-client-core-2.7.1.jar/ mapred-default.xml

            （2）自定义配置文件：

            core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

   4.3完全分布式运行模式

   分析：

            1）准备3台客户机（关闭防火墙、静态ip、主机名称）

            2）安装JDK

            3）配置环境变量

            4）安装Hadoop

            5）配置环境变量

   6）配置集群

   7）单点启动

            8）配置ssh

            9）群起并测试集群

   4.3.1虚拟机准备

   详见上文1虚拟机环境准备

   4.3.2修改三台虚拟机hosts文件

   [hadoop@master opt]$ sudo vi /etc/hosts

   #127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

   #::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

   172.16.23.200 master

   172.16.23.201 slave1

   172.16.23.202 slave2

   4.3.3配置集群

   （1）核心配置文件

   配置core-site.xml

   [hadoop@master hadoop]$ cd /opt/module/hadoop-2.7.1/etc/hadoop/

   [hadoop@master hadoop]$ vi core-site.xml

   在该文件中编写如下配置

   <!-- 指定HDFS中NameNode的地址 -->

   <property>

                     <name>fs.defaultFS</name>

         <value>hdfs://master:9000</value>

   </property>

    

   <!-- 指定Hadoop运行时产生文件的存储目录 -->

   <property>

                     <name>hadoop.tmp.dir</name>

                     <value>/opt/module/hadoop-2.7.1/data/tmp</value>

   </property>

   （2）HDFS配置文件

   配置hadoop-env.sh

   [hadoop@master hadoop]$ vi hadoop-env.sh

   export JAVA_HOME=/opt/module/jdk1.8.0_65

   配置hdfs-site.xml

   [hadoop@master hadoop]$ vi hdfs-site.xml

   在该文件中编写如下配置

   <property>

                     <name>dfs.replication</name>

                     <value>3</value>

   </property>

    

   <!-- 指定Hadoop辅助名称节点主机配置 -->

   <property>

         <name>dfs.namenode.secondary.http-address</name>

         <value>slave1:50090</value>

   </property>

   （3）YARN配置文件

   配置yarn-env.sh

   [hadoop@master hadoop]$ vi yarn-env.sh

   export JAVA_HOME=/opt/module/jdk1.8.0_65

   配置yarn-site.xml

   [hadoop@master hadoop]$ vi yarn-site.xml

   在该文件中增加如下配置

   <!-- Reducer获取数据的方式 -->

   <property>

                     <name>yarn.nodemanager.aux-services</name>

                     <value>mapreduce_shuffle</value>

   </property>

    

   <!-- 指定YARN的ResourceManager的地址 -->

   <property>

                     <name>yarn.resourcemanager.hostname</name>

                     <value>master</value>

   </property>

   （4）MapReduce配置文件

   配置mapred-env.sh

   [hadoop@master hadoop]$ vi mapred-env.sh

   export JAVA_HOME=/opt/module/jdk1.8.0_65

   配置mapred-site.xml

   [hadoop@master hadoop]$ cp mapred-site.xml.template mapred-site.xml

    

   [hadoop@master hadoop]$ vi mapred-site.xml

   在该文件中增加如下配置

   <!-- 指定MR运行在Yarn上 -->

   <property>

                     <name>mapreduce.framework.name</name>

                     <value>yarn</value>

   </property>

   4.3.4将master的/opt/module文件分发到slave1和slave2虚拟机

   [hadoop@master opt]$ scp -r module/ hadoop@slave1:/opt/

   [hadoop@master opt]$ scp -r module/ hadoop@slave2:/opt/

   4.3.5 SSH免密登陆

   1.    配置ssh

   （1）基本语法

   ssh另一台电脑的ip地址

   （2）ssh连接时出现Host key verification failed的解决方法

   [hadoop@master opt]$ ssh 192.168.1.103

   The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.

   RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.

   Are you sure you want to continue connecting (yes/no)?

   Host key verification failed.

   （3）解决方案如下：直接输入yes

   2.    无密钥配置

   三台虚拟机执行相同命令

   ssh-keygen -t rsa

   ssh-copy-id -i ~/.ssh/id_rsa.pub master

   ssh-copy-id -i ~/.ssh/id_rsa.pub slave1

   ssh-copy-id -i ~/.ssh/id_rsa.pub slave2

   3. ssh文件夹下（~/.ssh）的文件功能解释

   known_hosts	记录ssh访问过计算机的公钥(public key)
   id_rsa	生成的私钥
   id_rsa.pub	生成的公钥
   authorized_keys	存放授权过得无密登录服务器公钥

    

    

    

    

   4.3.6群起集群

   1.    配置slaves

   /opt/module/hadoop-2.7.1/etc/hadoop/slaves

   [hadoop@master hadoop]$ vi slaves

   在该文件中增加如下内容：

   master

   slave1

   Slave2

   注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

   同步所有节点配置文件

   [hadoop@master opt]$ scp /opt/module/hadoop-2.7.1/etc/hadoop/slaves slave1:/opt/module/hadoop-2.7.1/etc/hadoop/

   [hadoop@master opt]$ scp /opt/module/hadoop-2.7.1/etc/hadoop/slaves

   slave2:/opt/module/hadoop-2.7.1/etc/hadoop/

   2.    启动集群

   （1）如果集群是第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

   [hadoop@master hadoop-2.7.1]$  bin/hdfs namenode -format

   （2）启动HDFS

   [hadoop@master hadoop-2.7.1]$  sbin/start-dfs.sh

   [hadoop@master hadoop-2.7.1]$  jps

   4166 NameNode

   4482 Jps

   4263 DataNode

   [hadoop@slave2 hadoop-2.7.1]$  jps

   3218 DataNode

   3288 Jps

    

   [hadoop@slave1 hadoop-2.7.1]$  jps

   3221 DataNode

   3283 SecondaryNameNode

   3364 Jps

   （3）启动YARN

   [hadoop@slave1 hadoop-2.7.1]$  sbin/start-yarn.sh

   注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。

   （4）Web端查看SecondaryNameNode

   （a）浏览器中输入：http://slave1:50090/status.html

   （b）查看SecondaryNameNode信息.

    

    

    

   3.    集群基本测试

   （1）上传文件到集群

              上传小文件

   [hadoop@master hadoop-2.7.1]$  hdfs dfs -mkdir -p /user/taike/input

   [hadoop@master hadoop-2.7.1]$  hdfs dfs -put wcinput/wc.input /user/taike/input

              上传大文件

   [hadoop@master hadoop-2.7.1]$  bin/hadoop fs -put

    /opt/software/hadoop-2.7.1_64bit.tar.gz   /user/taike/input

   （2）上传文件后查看文件存放在什么位置

   （a）查看HDFS文件存储路径

   [hadoop@master subdir0]$ pwd

   /opt/module/hadoop-2.7.1/data/tmp/dfs/data/current/BP-826371271-172.16.23.200-1587628709624/current/finalized/subdir0/subdir0

   （b）查看HDFS在磁盘存储文件内容

   [hadoop@master subdir0]$ cat blk_1073741825

   hadoop yarn

   hadoop mapreduce

   taike

   taike

   （3）拼接

   -rw-rw-r--. 1 atguigu atguigu 134217728 5月  23 16:01 blk_1073741836

   -rw-rw-r--. 1 atguigu atguigu   1048583 5月  23 16:01 blk_1073741836_1012.meta

   -rw-rw-r--. 1 atguigu atguigu  63439959 5月  23 16:01 blk_1073741837

   -rw-rw-r--. 1 atguigu atguigu    495635 5月  23 16:01 blk_1073741837_1013.meta

   [hadoop@master subdir0]$ cat blk_1073741836>>tmp.file

   [hadoop@master subdir0]$ cat blk_1073741837>>tmp.file

   [hadoop@master subdir0]$ tar -zxvf tmp.file

   （4）下载

   [hadoop@master hadoop-2.7.1]$bin/hadoop fs -get  /user/taike/input/hadoop-2.7.1_64bit.tar.gz ./

    

   4.3.7集群启动/停止方式总结

   1.    各个服务组件逐一启动/停止

   （1）分别启动/停止HDFS组件

   hadoop-daemon.sh  start / stop  namenode / datanode / secondarynamenode

   （2）启动/停止YARN

   yarn-daemon.sh  start / stop  resourcemanager / nodemanager

   2.    各个模块分开启动/停止（配置ssh是前提）常用

   （1）整体启动/停止HDFS

   start-dfs.sh   /  stop-dfs.sh

   （2）整体启动/停止YARN

   start-yarn.sh  /  stop-yarn.sh