摘要: //********************** 装换操作 ********************* 1、def map[U: ClassTag](f: T => U): RDD[U] 将函数应用于RDD的每一元素,并返回一个新的RDD 2、def filter(f: T => Boolean): 阅读全文
posted @ 2019-04-26 20:29 zhangqi0828 阅读(256) 评论(0) 推荐(0) 编辑
摘要: 1、RDD是整个Spark的计算基石。是分布式数据的抽象,为用户屏蔽了底层复杂的计算和映射环境 RDD是不可变的,如果需要在一个RDD上进行转换操作,则会生成一个新的RDD RDD是分区的,RDD里面的具体数据是分布在多台机器上的Executor里面的。堆内内存和堆外内存 + 磁盘。 RDD是弹性的 阅读全文
posted @ 2019-04-26 20:26 zhangqi0828 阅读(666) 评论(0) 推荐(0) 编辑