spark初识

一.简介

1.什么是spark

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Spark是Scala编写，方便快速编程。

2.总体栈技术讲解

3.spark与MapReduce的区别

都是分布式计算框架，Spark基于内存，MR基于HDFS。Spark处理数据的能力一般是MR的十倍以上，Spark中除了基于内存计算外，还有DAG有向无环图来切分任务的执行先后顺序。

5.spark运行模式

local
- 多用于本地测试
standalone
- spark自带的一个资源调度框架,支持完全分布式
yarn
- spark也可以基于yarn来计算
Mesos
- 资源调度框架
要基于Yarn来进行资源调度，必须实现AppalicationMaster接口，Spark实现了这个接口，所以可以基于Yarn。

二.sparkcore

1.RDD

RDD(Resilient Distributed Dataset)，弹性分布式数据集
五大特性
- RDD是由一系列的partition组成的
- 函数是作用在每一个partition上的
- RDD之间是有一系列的依赖关系
- 分区器是作用在K,V格式的RDD上
- RDD提供一系列最佳的计算位置
RDD理解图
注意
- textFile方法底层封装的是MR读取文件的方式,读取文件之前先split,默认split大小是一个块的大小
什么是K,V格式的RDD
- 如果RDD里面存储的数据都是二元组对象,那么这个RDD我们就叫做K,V格式的RDD
哪里体现RDD的弹性(容错性)
- partition数量和大小没有限制,体现了RDD的弹性
- RDD之间依赖关系,可以基于上一个RDD重新计算出RDD
哪里体现RDD的分布式
- RDD是由partition组成,partition是分布在不同节点上的
RDD提供计算最佳位置，体现了数据本地化。体现了大数据中“计算移动数据不移动”的理念。

2.Spark任务执行原理

- driver和worker是启动在节点上的进程,运行在JVM中的进程
- driver与集群节点之间有频繁的通信
- driver负责任务的分发和结果的回收,任务的调度,如果任务的计算结果非常大就不要回收了,会造成内存溢出问题
- worker是standalone资源调度框架里面资源管理的从节点.也是JVM进程
- Master是Standalone资源调度框架里面资源管理的主节点。也是JVM进程。

3.spark代码流程

创建sparkconf对象
- 设置application name
- 设置运行模式及资源需求
创建sparkcontext对象
基于spark的上下文创建一个RDD,对RDD进行处理
应用程序中要有action类算子来触发transformation类算子进行执行
关闭spark上下文对象sparkcontext

源码

object WordCount {

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf();
    conf.setMaster("local").setAppName("wc")
    val sc = new SparkContext(conf)
    val lineRDD=sc.textFile("./word.txt")
    val wordRDD = lineRDD.flatMap(x=>x.split(" "))
    val kvRDD=wordRDD.map(x=>(x,1))
    val result = kvRDD.filter(x=>{
      if(x.equals("hello"))
        true
      else
        false
    })
    result.foreach(println)
  }
}

4.Transformations转换算子

转换算子输入输出类型
Transformations类算子是一类算子（函数）叫做转换算子，如map,flatMap,reduceByKey等。Transformations算子是延迟执行，也叫懒加载执行。
转换算子介绍
- filter
  - 过滤符合条件的记录数，true保留，false过滤掉。
- map
  - 将一个RDD中的每个数据项，通过map中的函数映射变为一个新的元素。特点：输入一条，输出一条数据。
- flatmap
  - 先map后flat。与map类似，每个输入项可以映射为0到多个输出项。
- sample
  - 随机抽样算子，根据传进去的小数按比例进行又放回或者无放回的抽样。
- reduceByKey
  - 将相同的Key根据相应的逻辑进行处理。
- sortByKey/sortBy
  - 作用在K,V格式的RDD上，对key进行升序或者降序排序。
- join
- leftOuterJoin
- rightOuterJoin
- fullOuterJoin
- 作用在K,V格式的RDD上,根据K进行连接,对(K,V),join(K,W)返回(K,(V,W))
- union
  - 合并两个数据集.两个数据集的类型要一致
- intersection
  - 取两个数据集的交集
- subtract
  - 与map类似，遍历的单位是每个partition上的数据。
- distinct相当于(map+reduceByKey+map)
  - 去重
- cogroup
  - 当调用类型（K,V）和（K，W）的数据上时，返回一个数据集（K，（Iterable<V>,Iterable<W>））
- mappartition
  - 与map类似，遍历的单位是每个partition上的数据。
- mapPartitionWithIndex
  - 类似于mapPartitions,初次之外还会携带分区的索引值
- repartition(宽依赖)
  - 增加或减少分区.会产生shuffle
- coalesce(可以做宽依赖也可以做窄依赖)
  - coalesce常用来减少分区，第二个参数是减少分区的过程中是否产生shuffle。
  - true为产生shuffle，false不产生shuffle。默认是false。
    
    如果coalesce设置的分区数比原来的RDD的分区数还多的话，第二个参数设置为false不会起作用，如果设置成true，效果和repartition一样。
    
    即repartition(numPartitions) = coalesce(numPartitions,true)
- groupByKey
  - 作用在K，V格式的RDD上。根据Key进行分组。作用在（K，V），返回（K，Iterable <V>）。
- zip
  - 将两个RDD中的元素（KV格式/非KV格式）变成一个KV格式的RDD,两个RDD的个数必须相同。
- zipWithIndex
  - 该函数将RDD中的元素和这个元素在RDD中的索引号（从0开始）组合成（K,V）对。

5.action触发算子

Action类算子也是一类算子（函数）叫做行动算子，如foreach,collect，count等。Transformations类算子是延迟执行，Action类算子是触发执行。一个application应用程序中有几个Action类算子执行，就有几个job运行。
算子介绍
- count
  - 返回数据集中的元素数。会在结果计算完成后回收到Driver端。
- take
  - 返回一个包含数据集前n个元素的集合。
- first
  - first=take(1),返回数据集中的第一个元素。
- foreach
  - 循环遍历数据集中的每个元素，运行相应的逻辑。
- collect
  - 将计算结果回收到Driver端。
- foreachpartition
  - 遍历的数据是每个partition的数据。
- countByKey
  - 作用到K,V格式的RDD上，根据Key计数相同Key的数据集元素。
- countByValue
  - 根据数据集每个元素相同的内容来计数。返回相同内容的元素对应的条数。
- reduce
  - 根据聚合逻辑聚合数据集中的每个元素。

6.控制算子

控制算子有三种，cache,persist,checkpoint，以上算子都可以将RDD持久化，持久化的单位是partition。cache和persist都是懒执行的。必须有一个action类算子触发执行。checkpoint算子不仅能将RDD持久化到磁盘，还能切断RDD之间的依赖关系。

cache

默认将RDD的数据持久化到内存中。cache是懒执行

SparkConf conf = new SparkConf();
 conf.setMaster("local").setAppName("CacheTest");
 JavaSparkContext jsc = new JavaSparkContext(conf);
 JavaRDD<String> lines = jsc.textFile("./NASA_access_log_Aug95");

 lines = lines.cache();
 long startTime = System.currentTimeMillis();
 long count = lines.count();
 long endTime = System.currentTimeMillis();
 System.out.println("共"+count+ "条数据，"+"初始化时间+cache时间+计算时间="+ 
          (endTime-startTime));
        
 long countStartTime = System.currentTimeMillis();
 long countrResult = lines.count();
 long countEndTime = System.currentTimeMillis();
 System.out.println("共"+countrResult+ "条数据，"+"计算时间="+ (countEndTime-
           countStartTime));
        
 jsc.stop();

persist
- 可以指定持久化的级别。最常用的是MEMORY_ONLY和MEMORY_AND_DISK。”_2”表示有副本数。
持久化级别
cache和persist的注意事项
- cache和persist都是懒执行，必须有一个action类算子触发执行。
- cache和persist算子的返回值可以赋值给一个变量，在其他job中直接使用这个变量就是使用持久化的数据了。持久化的单位是partition
- ache和persist算子后不能立即紧跟action算子。
checkpoint
- checkpoint将RDD持久化到磁盘，还可以切断RDD之间的依赖关系。
- 执行原理
  - 当RDD的job执行完毕后，会从finalRDD从后往前回溯。
  - 当回溯到某一个RDD调用了checkpoint方法，会对当前的RDD做一个标记。
  - Spark框架会自动启动一个新的job，重新计算这个RDD的数据，将数据持久化到HDFS上。

优化

SparkConf conf = new SparkConf();
 conf.setMaster("local").setAppName("checkpoint");
 JavaSparkContext sc = new JavaSparkContext(conf);
 sc.setCheckpointDir("./checkpoint");
 JavaRDD<Integer> parallelize = sc.parallelize(Arrays.asList(1,2,3));
 parallelize.checkpoint();
 parallelize.count();
 sc.stop();

三.集群搭建

上传压缩包并解压
进入安装包的conf目录下，修改slaves.template文件，先把slaves.template文件名改成 slaves
- 然后添加从节点。保存。
- 修改spark-env.sh.template 文件名为 spark-env.sh
- 然后编辑spark-env.sh文件，进行配置：
  - 相关参数介绍
    - ```
    JAVA_HOME:配置java_home路径
    SPARK_MASTER_HOST:master的ip
    SPARK_MASTER_PORT:提交任务的端口，默认是7077
    SPARK_WORKER_CORES：每个worker从节点能够支配的core的个数
    SPARK_WORKER_MEMORY:每个worker从节点能够支配的内存数
```
同步到其他节点上
启动
- 进入sbin目录下，执行当前目录下的./start-all.sh
测试
- 访问master:8080端口：

posted @ 2019-12-30 13:51 数据阮小白阅读(150) 评论(0) 编辑收藏举报

刷新页面返回顶部

数据阮小白

#数据阮小白的进阶之路