2020年5月22日
SparkSQL执行时参数优化
摘要： 具体现象 内存CPU比例失调 一个Spark任务消耗 120(executor)*4G = 480G内存仅仅使用120个 core.几个SprakSQL任务就将整个系统资源吃光. 设置超过40个executor,但未指定分区数,导致多数executor空闲. 原因分析 SparkSQL配置时Core 阅读全文
posted @ 2020-05-22 15:50 静悟生慧 阅读(5378) 评论(1) 推荐(1) 编辑