2017年7月27日
Spark RDD 默认分区数量 - repartitions和coalesce异同
摘要： RDD.getNumPartitions()方法可以获得一个RDD分区数量， 1、默认由文件读取的话，本地文件会进行shuffle，hdfs文件默认会按照dfs分片来设定。 2、计算生成后，默认会按照executor-number*executor-cores来分片，也就是spark默认按照总工作核 阅读全文
posted @ 2017-07-27 18:45 澄轶 阅读(1611) 评论(0) 推荐(0) 编辑