2020 年 5月 13 日随笔档案 - 7749ha

2020年5月13日

摘要：按照我的理解 coalesce(numPartitions, shuffle = true) 就等于repartition(numPartitions) 区别当coalesce(numPartitions, shuffle = false)时候，是单纯的将多个分区合并成一个（注意：不shuffle 阅读全文

posted @ 2020-05-13 15:20 7749ha 阅读(302) 评论(0) 推荐(0) 编辑

java spark转换算子mapPartitions、mapPartitionsWithIndex

摘要： import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spar 阅读全文

posted @ 2020-05-13 14:47 7749ha 阅读(543) 评论(0) 推荐(0) 编辑

spark java函数传递

摘要： import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spar 阅读全文

posted @ 2020-05-13 14:08 7749ha 阅读(261) 评论(0) 推荐(0) 编辑