2021年12月7日
spark的groupbykey算子源码分析
摘要： 先进到defaultPartitioner里,self接收得是父RDD。 这是defaultPartitioner函数： 这一段代码的主要逻辑是分区器的选取问题，是用上游RDD的分区器还是新建一个分区器。 评判标准就是： 如果现有的最大分区器是合格的，或者其分区数大于或等于默认分区数，请使用现有分区 阅读全文
posted @ 2021-12-07 22:49 习惯了蓝 阅读(459) 评论(0) 推荐(0)