Flink 共享槽位、如何判断Flink需要使用多少资源

Flink 共享槽位、如何判断Flink需要使用多少资源

目录

• Flink 共享槽位、如何判断Flink需要使用多少资源
  • • 并行数据流
    • 任务槽和资源
    • 共享槽位
    • 如何判断Flink需要使用多少资源

并行数据流

上图中有5个Task，那么这5个task是如何部署的呢？

任务槽和资源

Flink 并不是这样部署的

共享槽位

Flink并不是将task合并，而是上游的task和下游的task可以共享一个槽位

所以Flink需要使用多少资源和task的数量没有关系，而是和节点的最大并行度有关系，因为有几个并行度就需要几个槽位

这样不仅可以节省资源，还可以提高数据传输的效率。

如何判断Flink需要使用多少资源

1、需要看一下集群的资源

可以从yarn的web界面查看

2、将来需要处理的数据量

可以从Flink的web界面查看