Flink原理（三）——Task（任务）、Operator Chain（算子链）和Slot（资源）
本文是参考官方文档结合自己的理解写的，所引用文献均已指明来源，若侵权请留言告知，我会立马删除。此外，若是表达欠妥的地方，欢迎大伙留言指出。
前言
在上一篇博客Flink原理（二） ——资源一文中已简要说了在Flink集群中资源的分配情况，这篇博客尝试从定义算子之后，任务是如何分配的，以及任务是如何使用资源的。
一、Task和Operator Chains
Flink会在生成JobGraph阶段，将代码中可以优化的算子优化成一个算子链（Operator Chains）以放到一个task（一个线程）中执行，以减少线程之间的切换和缓冲的开销，提高整体的吞吐量和延迟。下面以官网中的例子进行说明，如下图1所示：
图中，source、map、[keyBy|window|apply]、sink算子的并行度分别是2、2、2、2、1，经过Flink优化后，source和map算子组成一个算子链，作为一个task运行在一个线程上，其简图如图中condensed view所示，并行图如parallelized view所示。算子之间是否可以组成一个Operator Chains，看是否满足以下条件：
- 上下游算子的并行度一致
- 下游节点的入度为1
- 上下游节点都在同一个 slot group 中
- 下游节点的 chain 策略为 ALWAYS（可以与上下游链接，map、flatmap、filter等默认是ALWAYS）
- 上游节点的 chain 策略为 ALWAYS 或 HEAD（只能与下游链接，不能与上游链接，Source默认是HEAD）
- 两个节点间数据分区方式是 forward
- 用户没有禁用 chain（代码中是否配置disableChain()）
二、Task slot和resource
结合之前资源一文，我们可以得知上文中的任务在Flink集群中的分布应如下图2所示：
图中，有两个节点（TaskManage，即两个进程），每个节点中有3个slot，每一个task（一个Thread）均跑在一个slot中。
但实际上，Flink在默认情况下，只要子任务是来自同一个Job，是允许子任务（subtask，就是类似source/map、window等）共享一个slot的，即使是不同任务的子任务也是可以共享一个slot。这样有两个好处：
1) 一个Job的最高并行度就是Flink集群中slot的个数，这样我们就不需要计算一个程序可以包含多个task；
2） 可以获得更好的资源利用率。若没有slot共享，像source/map这种不是非常耗资源的算子（官网上是说非资源密集型、non-intensive）就和window这种非常耗资源的算子占用相同多的资源（一个slot），如图2所示；若允许slot共享，则图2中集群最大的并行度可为6，如下图3所示：
在可以共享slot的情况下，较耗资源的subtask就可以比较均匀的分布在Flink集群中的taskManager上。什么意思了？如图3，类似window的算子均匀的分布在每个slot中，而图2中，仅在两个slot中。从图3中我们也可以看出一个slot中可以运行多个Thread。
