Coursera, Big Data 3, Integration and Processing (week 5)
Week 5, Big Data Analytics using Spark
Programing in Spark
![](https://img2018.cnblogs.com/blog/1336977/201901/1336977-20190109101325499-59531910.png)
![](https://img2018.cnblogs.com/blog/1336977/201901/1336977-20190109101251595-1200536280.png)
Spark Core: Programming in Spark using RDD in pipelines
RDD 创建过后,会有两种操作,Transformation 和 Action. 只有到了Action 阶段才会验证Transformation 操作是否正确,所以经常看到Action阶段有很多报错. 叫 lazy
下图是一个具体的例子. 教程里提到了cache功能,比如从数据库query 数据放到RDD里,这个过程比较耗时,为了防止每次都去执行query操作,我们就可以把第一次的结果()也就是RDD) cache起来,但是注意使用cache 很耗内存,可能会造成瓶颈..
Spark Core: Transformation
RDD本身不能被改变,只能通过transformtion操作转成一个新的RDD
Map transformation
黄色部分是worker node, 一个RDD会把它的partitions(黑色部分)分布到不同的worker nodes. 一个partition里面有多个item. Spark 是基于partition来做事的, 而MapReduce 是基于item的.
flatMap transfromation, 一对多
map 和 flatMap 是narrow tranformation. narrow transformation 只依赖于一个partition上的数据,并且 data suffering is not nessary.
Filter transformation
Coalesce transformation, 比如
上面谈的都是narrow transformation, 都是本地处理数据不需要在网络上传输数据。
接下来谈wide transformation
先看看reduceByKey 和 groupByKey 的区别.
groupByKey 需要跨节点的shuffle 操作,输出是一个由 初始数字 1 组成的列表
reduceByKey 其实就是 groupByKey + reduce
narrow transformation 和 wide transformation 区别: 就看有没有跨节点的 shuffle 操作, 也就是有没有跨节点取数据做操作
Spark Core: Actions
第一个Action操作是很常见的collect, 它从worker node 收集最终的结果数据copy到driver node.
其中Reduce 最常用
Main models in Spark eco
Spark SQL
做什么的?优势?
Spark SQL 提供了API可以使query来的data转成 DataFrame
具体怎么做?
Spark SQL summary
Spark Streaming
Spark Streaming summary
Spark MLlib
Spark GraphX
Spark GraphX summary