会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
willian
18702515157@163.com
博客园
首页
新随笔
新文章
联系
订阅
管理
2017年3月18日
spark解决hash碰撞
摘要: 问题背景:pairRDD 调用spark存入文件的api时,最后结果文件的个数(就是分区的个数)取决于PariRDD中的key的hash值, 解决后可是相同key的数据到同一个partitioner中 解决方法: 整个代码如下:
阅读全文
posted @ 2017-03-18 23:14 willian_zhang
阅读(1165)
评论(0)
推荐(0)
编辑