2020年3月10日
Spark自定义分区(Partitioner)
摘要： Spark提供了HashPartitioner和RangePartitioner两种分区策略 ，这两种分区策略在很多情况下都适合我们的场景。但是有些情况下，Spark内部不能符合咱们的需求，这时候我们就可以自定义分区策略。为此，Spark提供了相应的接口，我们只需要扩展Partitioner抽象类， 阅读全文
posted @ 2020-03-10 14:08 sw_kong 阅读(2522) 评论(0) 推荐(0) 编辑