会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
关注公众号数据社,获取大数据、数据分析资料
数据社
专注大数据、数据分析、MPP数据库技术分析
公众号:数据社
了解更多MPP数据仓库知识,请关注微信公众号DataClub
博客园
首页
新随笔
联系
订阅
管理
2020年10月19日
Spark如何进行动态资源分配
摘要: 一、操作场景 对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务,若分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源紧张,这就造成了很大的资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景,根据当前应用任务的负载
阅读全文
posted @ 2020-10-19 13:21 WindyQin
阅读(2049)
评论(0)
推荐(2)
编辑
公告