2020年5月8日
Spark中rdd分区数量的决定因素
摘要： 1、参数配置(并行度)分区的默认个数等于对spark.default.parallelism的指定值2、根据父rdd的reduceTask数量3、读取hdfs的文件生成的rddrdd分区的数量等于hdfs的文件的block 4、sparkStreaming生成的rdd根据block interval 阅读全文
posted @ 2020-05-08 15:33 知晓的老巢 阅读(1221) 评论(0) 推荐(0) 编辑