粗粒度资源申请和细粒度资源申请

  • 粗粒度资源申请(Spark)

    • 在Application执行之前,将所有的资源申请完毕,当资源申请成功后,才会进行任务的调度,当所有的task执行完成后,才会释放这部分资源

    • 优点:在Application执行之前,所有的资源都申请完毕,每一个task直接使用资源就可以了,不需要task在执行前自己去申请资源,task启动就快了,task执行快了,stage执行就快了,job就快了,application执行就快了

    • 缺点:直到最后一个task执行完成才会释放资源,集群的资源无法充分利用

  • 细粒度资源申请(MapReduce)

    • Application执行之前不需要先去申请资源,而是直接执行,让job中的每一个task在执行前自己去申请资源,task执行完成就释放资源

    • 优点:集群的资源可以充分利用

    • 缺点:task自己去申请资源,task启动变慢,Application的运行就相应的变慢了

posted @ 2019-07-22 20:51  北漂屌丝  阅读(482)  评论(0编辑  收藏  举报