会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
//
// // //
努力的孔子
2019年12月9日
spark算子篇-repartition and coalesce
摘要: 我们知道 RDD 是分区的,但有时候我们需要重新设置分区数量,增大还是减少需要结合实际场景,还有可以通过设置 RDD 分区数来指定生成的文件的数量 重新分区有两种方法:repartition and coalesce 先看源代码 def repartition(self, numPartitions
阅读全文
posted @ 2019-12-09 15:55 努力的孔子
阅读(699)
评论(0)
推荐(0)
编辑
导航
博客园
首页
新随笔
新文章
联系
订阅
管理