2020年1月8日
Spark调优之--资源调优、并行度调优
摘要： 一、给足资源： 1、搭建集群的时候：给足SPARK_WORKER_CORES、SPARK_WORKER_MEMORY。 2、提交任务的时候：生产环境中提交任务使用的是shell脚本，要根据实际的情况设置好里面的参数。 /usr/local/spark/bin/spark-submit \ --cla 阅读全文
posted @ 2020-01-08 15:05 guoyu1 阅读(700) 评论(0) 推荐(0) 编辑