Flink 任务提交

 

Flink Job Cluster
Cluster Lifecycle: JobManager 随 Job启动结束, TaskManagers 根据任务资源惰性配.
Resource Isolation: JobManager的致命错误只影响当前 Job.
Other considerations: 依赖外部资源组件启动 TaskManager 和资源分配, 适合大型任务长期运行, 要求稳定性高, 对启停时间不敏感.
Flink Application Cluster
Cluster Lifecycle: 作业逻辑和依赖打包成可执行Jar, 由ApplicationClusterEntryPoint.main()启动集群. 生命周期同Job.
Resource Isolation: Job隔离.
Flink架构
JobManager
ResourceManager: 管理slots, 实现了YARN, Mesos, Kubernetes and standalone deployments资源管理接口, standalone deployments不支持新TaskManagers启动.
Dispatcher: 提供RestAPI供任务提交启动和执行, 提供 Flink WebUI 展示Job信息.
JobMaster: 管理一个JobGraph, 多个JobGraph共享FLink集群时有自己对应的JobMaster.
TaskManagers: 使用slot执行task, slots数代表task并发数.