07 2021 档案

spark性能参数的了解
摘要：yarn.scheduler.maximum-allocation-mb 这个参数表示每个container能够申请到的最大内存，一般是集群统一配置。Spark中的executor进程是跑在container中，所以container的最大内存会直接影响到executor的最大可用内存 当你设置ex 阅读全文
posted @ 2021-07-21 10:16 任重而道远的小蜗牛 阅读(629) 评论(0) 推荐(0)