会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
打怪up
博客园
首页
新随笔
联系
订阅
管理
2020年1月8日
Spark调优之--资源调优、并行度调优
摘要: 一、给足资源: 1、搭建集群的时候:给足SPARK_WORKER_CORES、SPARK_WORKER_MEMORY。 2、提交任务的时候:生产环境中提交任务使用的是shell脚本,要根据实际的情况设置好里面的参数。 /usr/local/spark/bin/spark-submit \ --cla
阅读全文
posted @ 2020-01-08 15:05 guoyu1
阅读(700)
评论(0)
推荐(0)
编辑
公告