2020年1月22日
spark动态资源分配
摘要： spark动态资源调整其实也就是说的executor数目支持动态增减，动态增减是根据spark应用的实际负载情况来决定。 开启动态资源调整需要（on yarn情况下） 1.将spark.dynamicAllocation.enabled设置为true。意思就是启动动态资源功能 2.将spark.sh 阅读全文
posted @ 2020-01-22 16:16 sw_kong 阅读(8821) 评论(0) 推荐(0) 编辑