会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
超大的皮卡丘
用你的激情与热情,感染更多的人,影响更多的人。
博客园
首页
新随笔
联系
订阅
管理
2016年11月14日
Spark性能测试报告与调优参数
摘要: 1、代码中尽量避免group by函数,如果需要数据聚合,group形式的为rdd.map(x=>(x.chatAt(0),x)).groupbyKey().mapValues((x=>x.toSet.size)).collection() 改为 rdd.map(x=>(x.chatAt(0),x)
阅读全文
posted @ 2016-11-14 01:16 松伯
阅读(2377)
评论(0)
推荐(0)
编辑