会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
黑客悟理
博客园
首页
新随笔
联系
订阅
管理
2020年5月15日
详解 Spark 中的 Bucketing
摘要: 什么是 Bucketing Bucketing 就是利用 buckets(按列进行分桶)来决定数据分区(partition)的一种优化技术,它可以帮助在计算中避免数据交换(avoid data shuffle)。并行计算的时候shuffle常常会耗费非常多的时间和资源. Bucketing 的基本原
阅读全文
posted @ 2020-05-15 22:25 黑客悟理
阅读(3255)
评论(0)
推荐(1)
编辑
公告