Spark基础学习精髓——第一篇

Spark基础学习精髓

1 Spark与大数据

1.1 大数据基础

1.1.1 大数据特点

  • 存储空间大
  • 数据量大
  • 计算量大

1.1.2 大数据开发通用步骤及其对应的技术

大数据采集->大数据预处理->大数据存储->大数据处理->大数据可视化

(1)大数据采集技术

 分布式架构、多种采集技术混合使用

 web数据采集：shell编程、爬虫工具、爬虫程序开发、HTTP协议、TCP/IP基本原理及Socket程序接口、编程语言、数据格式转换、分布式存储的命令和接口（HDFS、HBase等）、分布式应用开发

 日志数据采集：采集工具(Flume、Fluentd等)、接入工具（Kafka).日志采集程序(Java、Python等)开发、Shell编程、TCP/IP基本原理以及网络编程接口、编程语言、数据格式转换、分布式存储系统的命令和接口(HDFS、HBase等)、分布式应用开发。

 数据库数据采集：Shell编程、采集工具（Flume、Fluentd等）、接入工具(Kafka)、数据库采集程序(Java、Python等)开发、SQL查询语言及编程接口、关系型数据、库连接如JDBC等的使用、TCP/IP基本原理以及Socket编程接口、编程语言、数据格式转换、分布式存储系统的命令和接口(HDFS、HBase等)、分布式应用开发。

(2)大数据存储技术

 分布式海量文件存储：HDFS CEPH Moosefs GlusterFS。

 NoSQL数据库：Hbase Cassandra。

 NewSQL数据库：VoltDB、Spanner、TiDB等。

(3)大数据处理技术

 Hadoop框架、Spark框架

1.2 认识Spark

Spark是一个统一的大规模数据处理分析引擎。

技术特点：高性能（基于内存）、支持多种语言、通用（提供SQL操作、流数据处理、图数据处理、机器学习算法库）、多平台运行、分布式开发更容易

1.3 Spark技术栈

1.4 Scala与Spark关系

Spark框架是用scala开发的。Scala语言特点有如下：

  • 面向对象、函数式编程
  • 是强类型语言，不支持类型的隐式转换
  • 静态类型语言
  • 在JVM虚拟机上运行，可以利用JAVA资源
  • 支持交互式解释器REPL

1.5 Spark快速学习路线

虚拟机基础：定制虚拟机、能安装centos7

Linux基础：实现host和guest网络连接、完成基本文件操作、会用vim

Scala编程：能编写、编译、打包、调试、运行Scala程序，会用Scala编写简单的串行处理程序，能看懂简单的Spark Scala API接口

Spark基础：能说出Spark程序运行时架构、能提交Spark程序分布式运行、能解释Spark相关概念：RDD、Application、Job、DAG、Stage、Task,能说出Spark程序的运行过程和代码执行过程

Spark核心编程：能使用IDEA来编写、编译、打包、调试、运行Spark程序；能使用RDD、DataFrame/Dataset的基础API编写Spark程序

（具体学习资源请参见《Spark大数据编程实用教程》以及《艾叔》网易云系列，能帮助初学者快速入门，少踩坑）

1.6 使用软件和版本推荐

VMware workstation15、Centos7.2、jdk-8u162-linux-x64.tar.gz、hadoop-2.7.6.tar.gz、spark-2.3.0-bin-hadoop2.7.tgz、scala-2.11.12、ideaIC-2018.1.4.tar.gz

2 Spark运行环境的搭建

构建一个Spark运行环境，除Spark自身框架外，还要有集群管理器和存储系统用来存储输入和输出数据。

2.1 Spark程序运行时架构

定义：Spark程序运行后程序的各个组成部分。

三种角色：

  • Client(客户端)：负责提交Spark程序，提交的对象可以是集群管理器、也可以没有提交对象从而在本地运行；
  • Driver(驱动程序)：负责此次Spark程序运行的管理和状态监控，从程序开始到程序结束都由Driver全程负责；
  • Executor(执行器)：负责执行具体任务，Executor可能有多个，所有executor合并共同完成整个任务。Executor中具体任务是Task,每个Task是一个线程（每个Task不一定只占一个CPU，可以占多个CPU），一个executor中可能有多个Task,一个Task的处理逻辑相同，处理数据不一样；

   Client向集群管理器发出申请，集群管理器接收请求，并为其分配合适的资源。具体选择哪种管理器，可以在Client提交时通过参数指定。每种资源管理器运行Spark程序时机制可能不一样，但不管怎样，Spark程序运行时的架构是不变的。其他细节，如Excutor、Task的分配、资源调度、不同资源管理器上Spak执行机制等。

2.2 首先构建最简Spark大数据运行环境

最简单的Spark运行环境由HDFS、Yarn、Spark三个部分组成。

部署图如下：

 2.2.1 构建HDFS

1.什么是hdfs

HDFS（Hadoop Distributed File System Hadoop分布式文件系统），是一个分布式文件系统。Spark处理数据时的数据源和处理结果都存储在HDFS上。

2.重要特征

　（1）HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M

 （2）HDFS文件系统会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data

　（3）目录结构及文件分块信息(元数据)的管理由namenode节点承担——namenode是HDFS集群主节点，负责维护整个hdfs文件系统的目录树，以及每一个路径（文件）所对应的block块信息（block的id，及所在的datanode服务器）

 （4）文件的各个block的存储管理由datanode节点承担---- datanode是HDFS集群从节点，每一个block都可以在多个datanode上存储多个副本（副本数量也可以通过参数设置dfs.replication）

 （5）HDFS是设计成适应一次写入，多次读出的场景，且不支持文件的修改

3.hdfs命令行

    （1）查看帮助
        hdfs dfs -help 
    （2）查看当前目录信息
        hdfs dfs -ls /
    （3）上传文件
        hdfs dfs -put /本地路径 /hdfs路径
    （4）剪切文件
        hdfs dfs -moveFromLocal a.txt /aa.txt
    （5）下载文件到本地
        hdfs dfs -get /hdfs路径 /本地路径
    （6）合并下载
        hdfs dfs -getmerge /hdfs路径文件夹 /合并后的文件
    （7）创建文件夹
        hdfs dfs -mkdir /hello
    （8）创建多级文件夹
        hdfs dfs -mkdir -p /hello/world
    （9）移动hdfs文件
        hdfs dfs -mv /hdfs路径 /hdfs路径
    （10）复制hdfs文件
        hdfs dfs -cp /hdfs路径 /hdfs路径
    （11）删除hdfs文件
        hdfs dfs -rm /aa.txt
    （12）删除hdfs文件夹
        hdfs dfs -rm -r /hello
    （13）查看hdfs中的文件
        hdfs dfs -cat /文件
        hdfs dfs -tail -f /文件
    （14）查看文件夹中有多少个文件
        hdfs dfs -count /文件夹
    （15）查看hdfs的总空间
        hdfs dfs -df /
        hdfs dfs -df -h /
    （16）修改副本数    
        hdfs dfs -setrep 1 /a.txt
4.hdfs工作机制

 

（1）概述

  • HDFS集群分为两大角色：NameNode、DataNode
  • NameNode负责管理整个文件系统的元数据
  • DataNode 负责管理用户的文件数据块
  • 文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上
  • 每一个文件块可以有多个副本，并存放在不同的datanode上
  • Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量
  • HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向namenode申请来进

（2）HDFS写工作原理

有一个文件FileA，100M大小。Client将FileA写入到HDFS上。

HDFS按默认配置。

HDFS分布在三个机架上Rack1，Rack2，Rack3。

a. Client将FileA按64M分块。分成两块，block1和Block2;

b. Client向nameNode发送写数据请求，如图蓝色虚线①------>。

c. NameNode节点，记录block信息。并返回可用的DataNode，如粉色虚线②--------->。

    Block1: host2,host1,host3

    Block2: host7,host8,host4

    原理：

        NameNode具有RackAware机架感知功能，这个可以配置。

        若client为DataNode节点，那存储block时，规则为：副本1，同client的节点上；副本2，不同机架节点上；副本3，同第二个副本机架的另一个节点上；其他副本随机挑选。

        若client不为DataNode节点，那存储block时，规则为：副本1，随机选择一个节点上；副本2，不同副本1，机架上；副本3，同副本2相同的另一个节点上；其他副本随机挑选。

d. client向DataNode发送block1；发送过程是以流式写入。

    流式写入过程，//逐个传输 host2-->host1--host3>

        1>将64M的block1按64k的package划分;

        2>然后将第一个package发送给host2;

        3>host2接收完后，将第一个package发送给host1，同时client想host2发送第二个package；

        4>host1接收完第一个package后，发送给host3，同时接收host2发来的第二个package。

        5>以此类推，如图红线实线所示，直到将block1发送完毕。

        6>host2,host1,host3向NameNode，host2向Client发送通知，说“消息发送完了”。如图粉红颜色实线所示。

        7>client收到host2发来的消息后，向namenode发送消息，说我写完了。这样就真完成了。如图×××粗实线

        8>发送完block1后，再向host7，host8，host4发送block2，如图蓝色实线所示。

        9>发送完block2后，host7,host8,host4向NameNode，host7向Client发送通知，如图浅绿色实线所示。

        10>client向NameNode发送消息，说我写完了，如图×××粗实线。。。这样就完毕了。

分析，通过写过程，我们可以了解到：

    ①写1T文件，我们需要3T的存储，3T的网络流量贷款。

    ②在执行读或写的过程中，NameNode和DataNode通过HeartBeat进行保存通信，确定DataNode活着。如果发现DataNode死掉了，就将死掉的DataNode上的数据，放到其他节点去。读取时，要读其他节点去。

    ③挂掉一个节点，没关系，还有其他节点可以备份；甚至，挂掉某一个机架，也没关系；其他机架上，也有备份。

(3)HDFS读工作原理

读操作就简单一些了，如图所示，client要从datanode上，读取FileA。而FileA由block1和block2组成。 

那么，读操作流程为：

a. client向namenode发送读请求。

b. namenode查看Metadata信息，返回fileA的block的位置。

    block1:host2,host1,host3

    block2:host7,host8,host4

c. block的位置是有先后顺序的，先读block1，再读block2。而且block1去host2上读取；然后block2，去host7上读取；

上面例子中，client位于机架外，那么如果client位于机架内某个DataNode上，例如,client是host6。那么读取的时候，遵循的规律是：

　　优选读取本机架上的数据。

5.HDFS的构建

(1)定制虚拟机（取名scala_dev）

在VMware 15.x上安装centos7.x，在第一部分已经介绍过具体的安装包版本，可以在对应的官网或者国内源下载，也可以联系我的邮箱zhangv_chian@163.com。

具体安装步骤可参见：https://www.cnblogs.com/gebilaoqin/p/12817510.html

建议安装图形化界面，并且配置好网络，使得host和guest能够相互Ping通。本人使用的是NAT模式，并且给网卡配置固定的IP地址，防止重启后IP有变化，影响后续的配置和ssh登录。

NAT配置可参见：https://blog.csdn.net/sdyb_yueding/article/details/78216135?utm_source=blogxgwz8

关闭防火墙可参见：https://www.cnblogs.com/yyxq/p/10551274.html

安装vmtools设置共享文件夹，将windows下载的安装包通过共享文件夹传递到centos中：https://www.cnblogs.com/Jankin-Wen/p/10157244.html

修改主机名：

a. 在root用户下：vi  /etc/hosts

b. 在root用户下： vi /etc/hostname

修改完主机名就可以输入：reboot 重启centos

可以ping scaladev看看是否能解析出IP地址

(2)scala_dev无密码登录自己

　　因为搭建的是最简单的HDFS，NameNode 和 DataNode 都在 scala_dev 上，因此，需要做 scala_dev 无密码登录自己，操作如下。：

　　解释：上述命令会 1）自动创建~/.ssh 目录； 2）在~/.ssh 下自动生成：id_dsa 和 id_dsa.pub 两个文件，其中，id_dsa 是私钥，保存在 NameNode 节点，id_dsa.pub 是公钥，要放置在 DataNode 节点，id_dsa.pub 相当于 NameNode 的身份信息，一旦在 DataNode 节点登记，就相当于 DataNode 节点已认可 NameNode，这样， NameNode 就可以无密码登录 DataNode 了； 3）-P 后面的 '' 是 2 个单引号，不是双引号；

　　将公钥 id_dsa.pub 加入到 scala_dev 的 authorized_keys 中，实现 scala_dev 对 scala_dev 自身的认证。

 

 　　修改 authorized_keys 的权限

 　　验证，如果不需要密码就可以登录，则说明操作成功

（填自己的IP地址）查询系统自带的java文件，根据不同的系统版本，输入rpm -qa | grep jdk或者rpm -qa | grep java

(3)配置JDK

1)查看系统自带的jdk

2)查询系统自带的java文件，根据不同的系统版本，输入rpm -qa | grep jdk或者rpm -qa | grep java

3)删除noarch文件以外的其他文件，输入rpm -e --nodeps 需要卸载的安装文件名

4)查看是否已经删除完毕

 

5)解压jdk

　　在设置好共享目录的前提下，共享目录一般都在/mnt/hgfs/<共享文件名>/, 在windows上把安装包都放在此目录下

然后解压到/home/user/ ,命令为：tar xf /mnt/hgfs/sharefile/jdk-8u162-linux-x64.tar.gz  /home/user/

6)配置环境变量

　　切换到root, 然后vi /etc/profile，输入以下内容（路径根据自己实际路径来，不要照搬）

 然后切换的普通用户：su user

 配置完环境变量后都要source /etc/profile

 验证：java -version

(4) 配置HDFS

1）解压hdfs

tar xf /mnt/hgfs/sharefile/hadoop-2.7.6.tar.gz   /home/user/

2)配置环境变量

切换到root然后编辑/etc/profile（路径根据自己实际路径来，不要照搬）

  配置完环境变量后都要source /etc/profile

 验证，退回到普通用户，输入 hd，看能否用 tab 键补全 hdfs，如果可以，说明 profile 设 置成功，如果不行，则要检查，或者运行 source/etc/profile 再试。 

3)设置hostname

 

 

 此处scaladev不等加下划线_，否则会出错，然后重启；

4)添加hosts信息

 

验证，如果 pingscaladev 能自动解析出 IP，则说明修改成功。 

5）修改 hadoop-env.sh （在前面修改了环境变量/etc/profile是不够的，必须在每台节点上加入java的路径）

 

 

 

 

 6）修改slaves，它存储的是所有DataNode的主机名

 

 

 后续扩展DataNode,只需要在slaves里面加主机名

7）修改 hdfs-site.xml，先复制模板文件 

 

 

 编辑模板

 

 

 

 

 

 

 

 

 

 

 

 8）修改core-site.xml 复制模板

 

 

 

　　配置了 defaultFS 和 fs.default.name 后，会自动在路径前面加上 hdfs://scaladev:9001/前缀，这样，默 认路径就是 hdfs 上的路径，之前的 file:///前缀，表示的是本地文件系统。按照目前的配置，/表示 hdfs://scaladev:9001/，表示 HDFS 上的/目录，而 file:///则表示本地文件系统的/目录。

 

 

 9）格式化并启动 HDFS 

a.格式化

 

 

 b.启动HDFS

 

 

 c.验证

 

 

 

 

 

 2.2.2 构建YARN

1.yarn简介

Yarn是hadoop的集群管理器，Spark和Mapreduce程序都可以运行在Yarn上。

2.Yarn配置步骤

（1）复制 yarn-site.xml 模板文件 

 

 

　　编辑 yarn-site.xml  

 

 

 

 

 

 （2）复制 mapred-site.xml 模板文件 

 

 

 

 （3）启动Yarn

 

 

 （4）验证：Yarn上运行MapReduce程序

　　MapReduce 和 Spark 一样，也是一个分布式处理框架，MapReduce 程序和 Spark 一样，可 以提交到 Yarn 上运行，在 Spark 出现之前，MapReduce 是主流的大数据处理平台。Hadoop 中自带了 MapReduce 的例子程序，如经典的 wordcount（单词计数）程序，如果 MapReduce 执行成功，说明 Yarn 配置成功，后续，我们将学习如何将 Spark 程序提交到 Yarn 上执行。

　　提交 MapReduce 程序到 Yarn 上执行的步骤如下：

　　1）复制文件到HDFS

　　file:///表示本地文件系统，/表示 HDFS 的根目录，这是因为在 core-site.xml 中配置了 defaultFS 为 hdfs://scaladev:9001/ 

 

 

 　　2）验证

 

 

 　　3）在 HDFS 上准备输入目录 input，以及文件 core-site.xml 

 

 

 　　4）运行wordcount的例子

 

 

 　　5）验证

 

 

 （5）Yarn运行Mapreduce程序的过程

 

 

 1）当执行下面的命令后， Client 向 ResourceManager 发送运行 wordcount 程序（Application） 的请求；ResourceManager 响应请求，返回 Application ID 和一个 HDFS 地址；Client 将启动 Application 所需信息（要运行的 jar 包，资源要求等）上传到指定的 HDFS 路径下，并向 ResourceManager 发起启动 MRApplicationMaster（简称 AM）请求； hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jarwordcount/input/output 

 2）ResourceManager 根据当前资源使用情况和调度策略，确定一个可用节点（例如 NodeManager01），向该节点的 NodeManager 发送命令，启动一个 Container 来运行 AM；

　  AM 是此次 wordcount 程序运行的管理者，从 wordcount 的启动到结束都由此 AM 来负责。 AM 启动后，向 ResourceManager 注册，计算 Task 数（map 数（Split 数量决定，一个 Split 对 应一个 map）+reduce 数（mapreduce.job.reduces）），以此确定 Container 数（map 数+reduce 数），然后准备好每个任务 Container 请求，发送给 ResourceManager；ResourceManager 响应 请求，为其指定可用的节点 NodeManager02~NodeManagerXX；

 

 

 3） AM 依次和这些节点的 NodeManager 通信，在这些节点上启动 Container，并在 Container 执行 wordcount 中的 Task，wordcount 的 Task 分为 map 和 reduce 两种，先执行 mapTask，然 后执行 reduceTask（汇总操作），并向 AM 汇报任务状态；在执行过程中，Client 会和 AM 通 信，查询 Application 执行情况或者控制任务执行； 

 4）当某个 Container 上的任务执行完毕，可以退出时，AM 会和 ResourceManager 通信， 申请释放此 Container 及其资源。待总的 Application 结束，所有资源都释放完毕，AM 会向 ResourceManager 申请注销自己，最后，Client 退出。

（6）Yarn日志

　　Yarn的日志分为两大类： 1.Yarn架构自身相关日志，包括ResourceManager和NodeManager 的日志；2. 在 Yarn 上执行的程序（Application）日志。

　　第一类日志的 ResourceManager 日志位于 ResoureManager 的$HADOOP_HOME 下的 log 目录中，日志文件名是 yarn-user-resourcemanager-scaladev.log。

　　第一类日志的 NodeManager 日志位于每个 NodeManager 的$HADOOP_HOME 下的 log 目 录中，日志文件名是 yarn-user-nodemanager-scaladev.log。

　　第二类日志位于 ResoureManager 的$HADOOP_HOME 下的 log/userlogs 目录下，每个 Application 都会根据其 ID 号创建一个目录，例如：application_1533802263437_0005，在此目录下，会保存该 Application 所有 Container 的日志，示例如下，可以看到 wordcount 这个 Application有3个Container，其中尾号为1的container是AM，其它的container用来执行Task， 可能是 MapTask，也可能ReduceTask。每个 container 日志目录下又有 3 个文件：stdout、 stderr 和 syslog，其中 stdout 是 Task 执行过程中输出，例如 printfln 就会输出到 stdout 中， stderr 会保存报错信息，syslog 则会保存系统日志输出。 

2.2.3 构建Spark集群

（1）下载 Spark 软件包

Spark 所选择的版本是 2.3.0，软件包名：spark-2.3.0-bin-hadoop2.7.tgz，下载地址为： http://archive.apache.org/dist/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz 

（2）解压

 

 

（3）配置环境变量

 

 

（4）设置JAVA_HOME

 

 

2.3 运行Spark程序

本地运行、分布式运行

2.3.1本地运行方式

示例：SparkPi

Spark软件包中有一个spark-examples_2.11-2.3.0.jar 它是Spark自带示例的jar包，下面就以其中的SparkPi为例，介绍Spark程序的本地（local）运行方式

运行SparkPi具体命令如下：

在spark目录下执行：spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.3.0.jar  10

SparkPi的程序参数说明如下：

  • --class org.apache.spark.examples.SparkPi , 指明此运行程序的Main Class
  • --master local ,表示此Spark程序Local运行
  • examples/jars/spark-examples_2.11-2.3.0.jar, 为Spark示例的jar包
  • 10，表示迭代10次。

如果输出结果，这说明成功。

程序运行时如果报了一个WARN提示：NativeCodeLoader：62-Unable to load native-hadoop library for your platform

解决办法是在/etc/profile中添加下面的内容

export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

切换到普通用户，运行下面的命令，使得配置生效。

source  /etc/profile

2.4 运行Spark程序（分布式）

Spark程序分布式运行要依赖特定的集群管理器，最常用的有Yarn和Standalone。Client和Driver是否在一个进程里，可以分为client和cluster模式。

2.4.1 Spark on Yarn

1.client deploy mode

以DFSReadWriteTest为例，说明Spark on Yarn的client 的deploy mode。

DFSReadWriteTest是Spark-examples_2.11-2.3.0.jar自带的一个示例，它会读取本地文件进行单词计数，然后将本地文件上传到HDFS，从HDFS读取该文件，使用Spark进行计数，最后比较两次计数的结果。

（1）提交Spark程序 到Yarn上 ，以client mode运行

spark-submit --class org.apache.spark.examples.DFSReadWriteTest --master yarn /home/user/spark-2.3.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.3.0.jar /etc/profile /output

运行改程序要保证Yarn和HDFS同时启动。

如果结果正确，会输出：Success!

运行报错：初次运行程序时，可能会有以下两个报错。

报错1的报错信息如下所示：
Exception in thread "main"java.lang Exception: When unning with master yam' either HADOOP_CONF DIR or YARN_CONF _DIR must be set in the environment.

报错原因：没有设置环境变量：HADOOP_CONF_DIR或YARN_CONF_DR.
解决办法：在/etc/profile中增加下面的内容。
HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export HADOOP_CONF_DIR

切回到普通用户，使刚才的配置失效。

报错2的报错信息如下所示。

报错原因：Container(容器）的内存超出了虚拟内存限制，Container的虚拟内存为2.1GB，但使用了2.3GB.comtainer fpd-+22containeriD-container.15373079299 0002_02 0000l1]is runing ba

mual ncnoy ias CGma uage I64 SMB ofI GB plysical memory uscd 23 GB of 2.1 GB virual meaused Killing container

解决办法：

改变分配Container最小物理内存值，将yarn.scheduler.minimum-allocation-mb设置成2GB，重启Yarn,每个Container向RM申请的虚拟内存为2GB*2.1=4.2GB

（2）Spark程序在Yarn上的执行过程

1）client模式下，Client和Driver在一个进程内，向Resource Manager发出请求；

2）Resource Manager指定一个节点启动Container，用来运行AM；AM向resource manager申请container来执行程序，resource manager向AM返回可用节点；

3）AM同可用节点的NodeManager通信，在每个节点上启动Container，每个Container中运行 一个Spark的Excutor,Excutor再运行若干Tasks；

4）Driver与Executor通信，向其分配Task并运行，并检测其状态，直到整个任务完成；

5）总任务完成后，Driver清理Executor,通知AM,AM想ResouceManager请求释放Container，所有资源清理完毕后，AM注销并退出、client退出。

 

 2. Spark on Yarn （cluster deploy mode）

（1）提交DFSReadWriteTest到Yarn运行（cluster deploy mode）

命令：spark-submit --deploy-mode cluster --class org.apache.spark.examples.DFSReadWriteTest --master yarn /home/user/spark-2.3.0-bin-hadoop2.7/examples/jars/spark-example_2.11-2.3.0.jar /etc/profile /outputSpark

（2）Spark程序在Yarn上执行过程

1）Client想ResourceManager提交Application请求；

2）ResourceManager指定一个节点，启动Container来运行AM和Spark Driver；AM根据任务情况向ResourceManager申请Container;ResourceManager返回可以运行Container NodeManager;

3）AM与这些NodeManager通信，启动Container，在Container中执行Executor;

4）Spark Driver与Executor通信，向它们分配Task,并监控Task执行状态；

5）所有Task执行完毕后，清理Executor，清理完毕后，Driver通知AM，AM请求Resource Manager，释放所有Container；Client收到Application FINISHED后退出。

 

 2.4.2 Spark on Standalone

Standalone是Spark自带的集群管理器，主/从式架构，包括Master和Worker两种角色，Master管理所有的Worker,Worker负责单个节点的管理。

优点：简单、方便、快速部署。

缺点：不通用、只支持Spark,功能没有Yarn强大

1.Spark on Standalone(client deployed mode)

（1）部署Standalone

1)配置slaves文件，改文件保存了整个集群中被管理节点的主机名。先复制模板文件；

cp conf/slaves.template conf/slaves

2)编辑slaves文件

vi conf/slaves

3)将localhost修改为scaladev

scala_dev

4)添加JAVA_HOME

cp conf/spark-env.sh.template conf/spark-env.sh

5)编辑spark-env.sh文件

vi conf/spark-env.sh

6)在最后一行添加下面内容

export JAVA_HOME=/home/user/jdk1.8.0_162

7)启动Standalone集群

sbin/start-all.sh

8)验证 jps,查看是否有worker和master

9)查看Standalone的Web监控界面

（2）提交Spark程序到Standalone上，以client deploy mode运行

提交前却把HDFS已经启动，HDFS上/output目录下已经清空。具体命令如下：

spark-submit --class org.apache.spark.examples.DFSReadWriteTest --master spark://scaladev:7077  /home/user/spark-2.3.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.3.0.jar /etc/profile /output

其中-master spark：// scaladev:7077 表示连接Standalone集群， scaladev是Master所在的主机名，没有指定--deploy-mode cluster,则部署模式默认为client

（3）Spark程序在Standalone上的运行过程（client deploy mode)

client部署模式下，Spark程序在Standalone的运行过程如图所示。

 

 1）Client初始化，内部启动Client模块和Driver模块，并向Master发送Application请求；

 

 2）Master接收请求，为其分配Worker,并通知Worker启动Executor；

 3）Executor向Driver注册，Driver向Executor发送Task,Executor执行Task,并反馈执行状态，Driver再根据Executor的当前情况，继续发送Task,直到整个Job完成。

 2.Spark on Standalone（cluster deploy mode)

（1）提交Spark程序到Standalone,以cluster deploy mode运行

具体命令如下：

spark-submit --class org.apache.spark.examples.DFSReadWriteTest --master spark://scaladev:6066 --deploy-mode cluster /home/user/spark-2.3.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.3.0.jar /etc/profile hdfs://scaladev:9001/output

有4点要特别注意：

1)采用cluster deploy mode时，Driver需要一个处理器，后续Executor还需要另外的处理器，如果虚拟机scaladev只有1个处理器，就会出现资源不足的警告，导致程序运行失败，如下所示：

WARN TaskSchedulerImpl:66 - Initial job has not accepted any resource

解决办法：增加虚拟机的处理器为2个。

2)命令参数中，--master spark://scaladev:6066 用来指定Master的URL，cluster deploy mode下，Client会向Master提交Rest URL, Spark://scaladev:6066就是Spark的Rest URL;如果还是使用原来的参数--master spark://scaladev:7077,则会报下的错误；

WARN RestSubmissionClient:66 -Unable to connect to server spark://7077

3)HDFS的路径前面要加hdfs://,因为Cluster Mode下，core-site.xml中的defaultFS设置不起作用；

4)Client提交成功后就会退出，而不是等待Application结束后才退出。

（2）Spark程序在Standalone上的运行过程（cluster deploy mode）

cluster deploy mode下，Spark程序在Standalone的运行过程如图所示。

 

 1）Client初始化，内部启动Client模块，并向Master注册Driver模块，并等待Driver信息，待后续Driver模块正常运行，Client退出；

 2）Master接收请求，分配一个Worker，并通知这些Worker启动Executor；

 3）Master接受请求，分配Worker，并通知这些Worker启动Executor；

 4）Executor向Driver注册，Driver向Executor发送Task,Executor执行Task,并反馈执行状态，Driver再根据Executor的当前情况，继续发送Task,直到整个Job完成

3. Spark on Standalone日志

　　standalone的日志分为两类：框架日志、应用日志。

　　框架日志：指Master和Worker日志，Master日志位于Master的Spark目录下的logs目录下，文件名：spark-user-org.apache.spark.deploy.master.Master-1-scaladev.out；Worker位于每个Worker节点的Spark目录下的logs目录下，文件名为：spark-user-org.apache.spark.deploy.worker.Worker-1-scaladev.out。

　　应用日志：指每个Spark程序运行的日志，因为一个Spark程序可能会启动多个Executor,每个Executor都会有一个日志文件，位于Executor所在的Worker节点的Spark目录的work目录下，每个Spark运行会分配一个ID，运行时在控制台会打印ID的值，如下所示：

　　Connected to  Spark cluster with app ID app-2018081004758-0001

　　列出woker目录下的内容，命令如下。

　　ls work/

　　然后就可以看目录下的内容。

 

posted @ 2020-08-17 20:19  老板我这有皮卡丘  阅读(337)  评论(0)  编辑  收藏  举报