摘要:
转自:http://blog.csdn.net/ljj657137723/article/details/52134962 本篇文章是关于我在学习Spark过程中遇到的一些问题及总结,分为Spark优化、RDD join问题、遇到的问题、总结、参考资料几个部分。 一:Spark优化 1、设置序列化器 阅读全文
摘要:
DAG,有向无环图,Directed Acyclic Graph的缩写,常用于建模。 Spark中使用DAG对RDD的关系进行建模,描述了RDD的依赖关系,这种关系也被称之为lineage,RDD的依赖关系使用Dependency维护,参考Spark RDD之Dependency,DAG在Spark 阅读全文