flink部署模式和运行模式

flink部署模式

部署模式:flink里面的 计算程序 运行的方式

  • session
    session模式一个flink集群可以跑多个计算任务,资源共享
    session模式下集群是提前启动的,然后向flink集群提交job

  • per-job(高版本已经不推荐了)
    per-job模式下,一个集群只跑一个计算任务,资源独立,
    集群的启动是跟随任务提交创建的,任务结束集群关闭,不用提前启动集群

    image-20240312114435871

  • application
    application模式是per-job的进化版,优化的地方在于计算程序的解析从客户端改成了jobmanger,减轻了客户端压力

flink运行模式

运行模式:flink软件运行的模式

  • local
    一台主机运行着jobmanger和taskmanger。

  • standallone
    多台主机分别运行只jobmanger和taskManger,并且资源的分配是手动分配的,启动集群的时候已经定好哪些j节点是jobManger,哪些节点是taskManger

  • yarn

    资源由yarn管理,yarn动态的分配 jobmanger和taskManger,fink集群的创建由yarn完成。

  • k8s
    资源分配由k8s来完成。

posted on 2024-03-12 15:44  zhangyukun  阅读(109)  评论(0编辑  收藏  举报

导航