摘要: Apache Flink提供了一种容错机制,可以持续恢复数据流应用程序的状态。该机制确保即使出现故障,程序的状态最终也会反映来自数据流的每条记录(只有一次)。 从容错和消息处理的语义上(at least once, exactly once),Flink引入了state和checkpoint。 st 阅读全文
posted @ 2018-08-15 17:42 gqb00 阅读(1364) 评论(1) 推荐(0) 编辑
摘要: 作为一个软件堆栈,Flink是一个分层的系统。堆栈的不同层构建在彼此之上,并提高程序表示的抽象级别: 在runtime层以JobGraph的形式接受一个程序。JobGraph是一个通用的并行数据流,包含有消耗和生成数据流的任意个任务。 DataStream API 和 DataSet API 通过单 阅读全文
posted @ 2018-08-15 10:58 gqb00 阅读(224) 评论(1) 推荐(0) 编辑