2021年7月21日
spark性能参数的了解
摘要： yarn.scheduler.maximum-allocation-mb 这个参数表示每个container能够申请到的最大内存，一般是集群统一配置。Spark中的executor进程是跑在container中，所以container的最大内存会直接影响到executor的最大可用内存 当你设置ex 阅读全文
posted @ 2021-07-21 10:16 任重而道远的小蜗牛 阅读(574) 评论(0) 推荐(0) 编辑