Spark 学习（五）广播变量和累加器
一，概述
二，广播变量broadcast variable
2.1 定义广播变量的原因
2.2 图解广播变量
2.3 定义广播变量
2.4 还原广播变量
2.5 定义注意事项
三，累加器
3.1 为什么要将一个变量定义为一个累加器
3.2 图解累加器
3.3 定义累加器
3.4 还原累加器
3.5 定义注意事项
正文
一，概述
在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是，Spark还是为两种常见的使用模式提供了两种有限的共享变量：广播变（broadcast variable）和累加器（accumulator）
二，广播变量broadcast variable
2.1 定义广播变量的原因
广播变量用来高效分发较大的对象。向所有工作节点发送一个 较大的只读值，以供一个或多个 Spark 操作使用。比如，如果你的应用需要向所有节点发 送一个较大的只读查询表，甚至是机器学习算法中的一个很大的特征向量，广播变量用起 来都很顺手。
2.2 图解广播变量
2.3 定义广播变量
val a = 3
val broadcast = sc.broadcast(a)
2.4 还原广播变量
val c = broadcast.value
2.5 定义注意事项
1、能不能将一个RDD使用广播变量广播出去？
不能，因为RDD是不存储数据的。可以将RDD的结果广播出去。
2、 广播变量只能在Driver端定义，不能在Executor端定义。
3、 在Driver端可以修改广播变量的值，在Executor端无法修改广播变量的值。
4、如果executor端用到了Driver的变量，如果不使用广播变量在Executor有多少task就有多少Driver端的变量副本。
5、如果Executor端用到了Driver的变量，如果使用广播变量在每个Executor中只有一份Driver端的变量副本。
6、变量一旦被定义为一个广播变量，那么这个变量只能读，不能修改
2.6 广播变量应用实例
实例描述：有一些访问数据，需要根据访问的IP获取对于IP的访问地址，同时求出每个访问地址的数量。因为每一个IP段会对应一个区域地址。也就是映射关系。我们就可以通过IP还对应这些访问地址。
工具类：
package cn.edu360.sparkThree import scala.io.{BufferedSource, Source} object MyUtils { // 解析IP段对应的省份，将这些省份隐式到IP段 def readRules(path: String): Array[(Long, Long, String)]={ val bf: BufferedSource = Source.fromFile(path) val lines: Iterator[String] = bf.getLines() val rules: Array[(Long, Long, String)] = lines.map(line => { val fields: Array[String] = line.split("[|]") val startNum: Long = fields(2).toLong val endNum: Long = fields(3).toLong val privince: String = fields(6) (startNum, endNum, privince) }).toArray rules } // 将IP地址转换成长整形 def ipToLong(ip: String)={ val fragments: Array[String] = ip.split("[.]") var ipNum = 0L for(i <- 0 until fragments.length){ ipNum = fragments(i).toLong | ipNum << 8L } ipNum } // 利用二分法的形式返回IP地址对应的IP段 def binarySearch(lines: Array[(Long, Long, String)], ip: Long ): Int={ var low = 0 var high = lines.length - 1 while (low <= high){ val middle = (low + high) / 2 if((ip >= lines(middle)._1) && (ip <=lines(middle)._2)){ return middle } if(ip < lines(middle)._1){ high = middle - 1 }else{ low = middle + 1 } } -1 } }
利用Spark程序解析IP：
package cn.edu360.sparkThree import org.apache.spark.broadcast.Broadcast import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object IpLocationOne { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setAppName("IpManage").setMaster("local[4]") val sc = new SparkContext(conf) // 获取IP映射库，同时将其解析 val rules: Array[(Long, Long, String)] = MyUtils.readRules("C:\\Users\\Administrator\\Desktop\\java\\spark4\\课件与代码\\ip\\ip.txt") // 将IP映射规则广播到每一个Worker的executer val broudcastRef: Broadcast[Array[(Long, Long, String)]] = sc.broadcast(rules) // 获取访问日志 val lines: RDD[String] = sc.textFile("hdfs://hd1:9000/ip/log/") // 定义一个解析访问日志的函数 val func =(line: String) =>{ val fields: Array[String] = line.split("[|]") val ip: String = fields(1) val ipNum: Long = MyUtils.ipToLong(ip) val rulesInExecutor: Array[(Long, Long, String)] = broudcastRef.value var province = "未知" val index: Int = MyUtils.binarySearch(rulesInExecutor, ipNum) if(index != -1){ province = rulesInExecutor(index)._3 } (province, 1) } // 解析数据 val provinceOne: RDD[(String, Int)] = lines.map(func) // 聚合数据 val reduced: RDD[(String, Int)] = provinceOne.reduceByKey(_+_) val result: Array[(String, Int)] = reduced.collect() print(result.toBuffer) } }
三，累加器
3.1 什么是累加器
累加器是通过交替的操作可以增加的变量，并且可以运行在并行的情况下。可以用来实现一个计数器（和 MapReduce中的一样）或者求和。Spark天然支持数字类型的累加器，开发人员可以添加新类型的支持。
3.2 累加器的作用
在spark应用程序中，我们经常会有这样的需求，如异常监控，调试，记录符合某特性的数据的数目，这种需求都需要用到计数器，如果一个变量不被声明为一个累加器，那么它将在被改变时不会再driver端进行全局汇总，即在分布式运行时每个task运行的只是原始变量的一个副本，并不能改变原始变量的值，但是当这个变量被声明为累加器后，该变量就会有分布式计数的功能。
3.3 图解累加器
3.4 定义累加器
val a = sc.accumulator(0)
3.5 还原累加器
val b = a.value
3.6 定义注意事项
1、累加器在Driver端定义赋初始值，累加器只能在Driver端读取最后的值，在Excutor端更新。
2、累加器不是一个调优的操作，因为如果不这样做，结果是错的
