摘要：
一、Flink系统Checkpoint机制简述 1、Checkpoint机制是Flink流式应用容错的保证。Flink系统通过周期性触发Checkpoint动作通知流作业中各个算子将自身的状态数据持久化存储下来。当作业重新运行时选择以往成功的Checkpoint快照数据来恢复各个算子停止前的状态数据 阅读全文
摘要：
一、状态存储及快照策略说明 1、Flink用户视角下状态存储新旧版本区分 (1)、旧版本StateBackend旧版本StateBackend分类：MemoryStateBackend、FsStateBackend、RocksDBStateBackend旧版本StateBackend用法：1)、单任 阅读全文
摘要：
在前两篇随笔中解析了Flink Task数据读写过程，其中Task写数据逻辑最终将数据Buffer存放到ResultSubpartition的buffers队列中，依据上下游Task节点分布关系，Task读数据逻辑分别从LocalInputChannel或RemoteInputChannel读取上游 阅读全文
摘要：
上一篇随笔解析到Flink Task写数据过程，数据最终被写入ResultPartition结果分区模型中。每个ResultPartition实例都包含一到多个ResultSubPartition结果子分区，经过RecordWriter分区器分配后数据以NetworkBuffer形式存放在特定结果子 阅读全文
摘要：
上篇随笔解析完Task启动过程，本篇开始解析Task写数据过程。Task写数据过程中涉及到RecordWriterOutput、RecordWriter、ChannelSelector、ResultPartition、ResultSubpartition、LocalBufferPool等组件，这些组 阅读全文
摘要：
在随笔十五最后只是粗略解析到Task初始化过程中的重要信息，但并未详细查看Task构造函数内部构成过程，本篇随笔继续解析Task构造函数内部的构造事宜，继而解析StreamTask启动过程。 一、核心对象说明 1、ResultPartitionWriter：ResultPartitionWriter 阅读全文