会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
yuerspring
博客园
首页
新随笔
联系
订阅
管理
2016年9月8日
Spark shuffle 优化
摘要: spark.shuffle.file.buffer默认值:32k参数说明:该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前,会先写入buffer缓冲中,待缓冲写满之后,才会溢写到...
阅读全文
posted @ 2016-09-08 20:07 yuerspring
阅读(149)
评论(0)
推荐(0)
编辑
公告