摘要: 1 转换算子(transformer)(将旧的RDD包装成新RDD) 1.1 单值类型 1.1.1 map 多个分区之间是并行的,分区内的数据是串行执行的 def main(args: Array[String]): Unit = { val sparkConfig: SparkConf = new 阅读全文
posted @ 2022-11-20 23:10 宝树呐 阅读(15480) 评论(0) 推荐(0) 编辑
摘要: 1. RDD的创建方式 1.1 从内存创建RDD 主要依赖如下两个方法 parallelize makeRDD 底层调用的还是parallelize def main(args: Array[String]): Unit = { val sparkConfig: SparkConf = new Sp 阅读全文
posted @ 2022-11-20 16:31 宝树呐 阅读(273) 评论(0) 推荐(0) 编辑