摘要: 1、查看 RDD 的血缘关系 说明: 圆括号(2): 2表示RDD的并行度,几个分区 2、查看RDD的依赖关系 RDD之间的关系可以从两个维度来理解: (1)一个是RDD从哪些RDD转换而来,也就是RDD的parent RDD(s)是什么 (2)另一个是RDD依赖于parent RDD(s)的哪些 阅读全文
posted @ 2019-12-17 16:58 hyunbar 阅读(271) 评论(0) 推荐(0) 编辑
摘要: 我们进行 Spark 进行编程的时候, 初始化工作是在driver端完成的 ,而 实际的运行程序是在executor端进行 ,所以就涉及到了进程间的通讯,数据是需要序列化的 1、传递函数 说明: (1)直接运行程序会报错: 。因为 用到了 ,所以对象 this需要序列化 , 才能把对象从driver 阅读全文
posted @ 2019-12-17 12:44 hyunbar 阅读(536) 评论(0) 推荐(0) 编辑