Spark排错与优化
摘要:
一. 运维1. Master挂掉,standby重启也失效Master默认使用512M内存,当集群中运行的任务特别多时,就会挂掉,原因是master会读取每个task的event log日志去生成spark ui,内存不足自然会OOM,可以在master的运行日志中看到,通过HA启... 阅读全文
posted @ 2015-10-15 17:08 毛小娃 阅读(195) 评论(0) 推荐(0) 编辑
posted @ 2015-10-15 17:08 毛小娃 阅读(195) 评论(0) 推荐(0) 编辑