会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
博客园
首页
归档
相册
星光下的贝加尔湖啊
博客园
首页
新随笔
联系
订阅
管理
2019年12月20日
spark 任务导致tmp目录过大
摘要: 现象:hdp的集群没有配置spak的临时本地目录,默认在跑程序的时候会将中间过程的文件存放在本地的/tmp目录下 如果跑的spark数据量过大,就会导致/tmp下文件过大,最终导致根分区被占满,系统崩溃 解决办吧:修改spark的环境变量配置文件,在ambari界面上找到spark-env.sh的配
阅读全文
posted @ 2019-12-20 11:09 日拱一卒,聚沙成塔
阅读(1854)
评论(0)
推荐(0)
编辑
公告