2021年3月11日
Flink状态管理存储
摘要： State一般指一个具体的task/operator的状态。而Checkpoint则表示了一个Flink Job，在一个特定时刻的一份全局状态快照，即包含了所有task/operator的状态。 保存机制 StateBackend(状态后端) ，默认情况下，State 会保存在 TaskManage 阅读全文
posted @ 2021-03-11 17:53 再见傅里叶 阅读(416) 评论(0) 推荐(0) 编辑
kafka发送消息流程
摘要： 1. 简单流程概述 A. 流程描述 a. producer先从zookeeper的"/brokers/.../state"节点找到该partition的leader b. producer将消息发送给该leader c. leader将消息写入到本地的log d. follower从leader拉取 阅读全文
posted @ 2021-03-11 14:23 再见傅里叶 阅读(1242) 评论(0) 推荐(0) 编辑