随笔分类 - Flink
摘要:1、KeyBy 操作后,只有当 Key 的数量大于算子的并发实例数才能获得较好的计算性能。 A.而若Key 的数量比实例数量少,就会导致部分实例收不到数据,这些实例就得不到执行,这些实例的计算能力得不到充分发挥。 ~~B.当Key个数多余并行实例数时,由于同一个 Key 对应的所有数据都能发送到同一
阅读全文
摘要:逻辑计划 logicGraph或者jobGraph,其端点为operator,edge为数据流向。 operator往往代表一个函数。 同一个分区内的具有连续上下游关系的函数组成operator-chain,同一个operator-chain内的数据,在流动过程中不会出现序列化和分区间的网络通信。
阅读全文