摘要: flink共有四大组件:JobManager,ResourceManager、Dispatcher和TaskManager 1.JobManager JobManager控制单个应用的执行,每个应用都会有一个JobGraph(逻辑DataFlow),一个胖Jar,JobManager把JobGrap 阅读全文
posted @ 2021-03-26 17:31 Mars.wang 阅读(243) 评论(0) 推荐(0) 编辑
摘要: 一、转换操作 1.基本转换 #DataStream转换成DataStreammap()filter()flatMap() 2.键值对转换 #将DataStream转换成KeyedStreamkeyBy()#KeyedStream聚合函数sum()min()max()minBy()maxBy()red 阅读全文
posted @ 2021-03-26 16:58 Mars.wang 阅读(120) 评论(0) 推荐(0) 编辑
摘要: 检查点是flink处理分布式任务中故障的重要机制,通过周期性保存任务状态,可以实现在个别任务发生故障时恢复程序的功能。 flink检查点算法中用到了一种名为检查点分隔符的特殊标记,和水位线相似,这些检查点分隔符会通过数据源算子注入到数据流中,每个检查点分隔符都会带有一个编号,这样就把一个数据流从逻辑 阅读全文
posted @ 2021-03-26 16:54 Mars.wang 阅读(587) 评论(0) 推荐(0) 编辑