Spark 学习笔记 —— 常见API
一、RDD 的创建
1）通过 RDD 的集合数据结构，创建 RDD
sc.parallelize(List(1,2,3),2) 其中第二个参数代表的是整个数据，分为 2 个 partition，默认情况会讲数据集进行平分，注意不是两个副本
2）通过文件来读取
sc.textFile("file.txt")
sc.sequenceFile("file.txt") sequeceFile 是 HDFS 一些数据结构
文件读取的位置，容易产生奇异，比如一下几种形式：
1)、inputRdd = sc.textFile("/data/input")
2)、inputRdd = sc.textFile("file:///data/input")
3)、inputRdd = sc.textFile("hdfs:///data/input")
4)、inputRdd = sc.textFile("hdfs://namenode:8020/data/input")
第一种 /data/input 具体读取的是本地和 hdfs上的文件，要依赖于上下文环境，driver 的配置，driver 是 local 的模式就读的本地文件，driver 是 cluster 模式的且在conf里面配置了 hdfs 的 namenode 地址的，则是读取的远程的文件
第二种 file:///data/input 是强制 executor 读取本地的数据，这样完全是为了本地测试用的，如果是在集群上运行作业，executor 具体运行的物理机器的相应目录未必存在
二、List 集合 RDD 常见的 Transformation 操作
1、map：1 对 1 进行映射
2、filter：过滤
3、flatMap:1 对 多进行映射
举个例子
listRdd = sc.parallelize(List(1,2,3),1)
nums.flatMap(x=>1 to x) // {1,2,3,2,3,3}
三、key-value 集合的RDD操作
val listRdd = sc.parallelize(List((“cat”,1),("dog",1),("cat",2)))
listRdd.reduceByKey(_+_) // => {(cat,3),(dog,1)}
listRdd.groupByKey() // => {(cat,Seq(1,2),(dog,Seq(1))}
reduceByKey 自动在map端进行本地的 combine 操作
四、RDD 常见的 Action 操作
Action 操作，分为，内存聚类操作，存储类操作
内存聚集类操作是讲分布式的数据集 汇聚到 driver 运行端，或者汇聚完之后进行聚合运算
1、collect() // 将 RDD 保存在本地集合收集到本地， 此“本地” 是只 driver 运行的机器，如何 RDD 很大，很可能会把 driver 端给撑爆了
2、take()
3、count()
4、reduce(_+_)
存储类操作是通过 driver 发起分别进行存储
1、saveAsTextFile
2、saveAsSequenceFile
五、Spark RDD的 Join 操作
Join 操作必须是 针对 2个或多个 key-value 的 List 集合
join 和 cogroup 的区别
如何控制 reduceByKey、groupByKey、join 的并行度
通过参数来修改
1、reduceByKey(_+_,5)
2、groupByKey(5)
通过修改默认的参数来配置
spark.default.parallelism
可以这样来理解问 reduce 的数量的控制，原理我猜是通过 hash 讲不同的key进行分桶
hadoop 的 reduce 默认是启动一个 task，spark 默认的 reduce 端的聚合操作默认和前一个阶段的并发度是一样的
六、spark 的 accumulator 和 广播变量（HttpBroadCast和TorrentBroadcast）
非常类似于 hadoop 里面的 counter 和 分布式缓存，只是分布式缓存是通过文件的方式
七、RDD 的 Cache
分析下以下2段代码的区别:
// 有 cache 函数
val data = sc.textFile("hdfs://nn:8020/input")
data.cache()
data.filter(_.startWith("error")).count()
data.filter(_.startWith("hadoop")).count()
data.filter(_.startWith("hbase")).count()
// 无 cache 函数
val data = sc.textFile("hdfs://nn:8020/input")
data.filter(_.startWith("error")).count()
data.filter(_.startWith("hadoop")).count()
data.filter(_.startWith("hbase")).count()
