2017年7月4日
Spark的动态资源分配
摘要： 跑spark程序的时候，公司服务器需要排队等资源，参考一些设置，之前不知道，跑的很慢，懂得设置之后简直直接起飞。 简单粗暴上设置代码： 一小部分设置。简单解析一下： 1、spark.shuffle.service.enabled。用来设置是否开启动态分配。开启了动态分配的Application在申请 阅读全文
posted @ 2017-07-04 21:11 锅贴君的包子铺 阅读(6076) 评论(1) 推荐(0) 编辑