2017年11月3日
spark 工作目录及数据本地化配置
摘要： 执行spark-sql时，查询数据量超过1.7亿行，数据量大小38G，出现系统盘占用突然变高的情况检查为 /tmp 目录下，spark生成的临时目录占用了大量的磁盘空间，生成的spark临时文件超过15G了。解决... 阅读全文
posted @ 2017-11-03 18:08 柚子=_= 阅读(2225) 评论(0) 推荐(0) 编辑
spark常见错误及调优
摘要： 阅读全文
posted @ 2017-11-03 18:01 柚子=_= 阅读(96) 评论(0) 推荐(0) 编辑