会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
柚子=_=
博客园
首页
新随笔
联系
订阅
管理
2017年11月3日
spark 工作目录及数据本地化配置
摘要: 执行spark-sql时,查询数据量超过1.7亿行,数据量大小38G,出现系统盘占用突然变高的情况检查为 /tmp 目录下,spark生成的临时目录占用了大量的磁盘空间,生成的spark临时文件超过15G了。解决...
阅读全文
posted @ 2017-11-03 18:08 柚子=_=
阅读(2225)
评论(0)
推荐(0)
编辑
spark常见错误及调优
摘要:
阅读全文
posted @ 2017-11-03 18:01 柚子=_=
阅读(96)
评论(0)
推荐(0)
编辑
公告