摘要: 类型抽取和序列化 本文翻译自Type Extraction and Serialization Flink处理类型的方式比较特殊,包括它自己的类型描述,一般类型抽取和类型序列化框架。该文档描述这些概念并解释其机理。 Java API和Scala API处理类型信息的方式有根本性的区别,所以本文描述的 阅读全文
posted @ 2016-07-10 22:26 张安 阅读(1401) 评论(0) 推荐(0) 编辑
摘要: Flink一般架构和处理模型 本文翻译自General Architecture and Process Model 一、处理过程 当Flink系统启动时,首先启动JobManager和一至多个TaskManager。JobManager负责协调Flink系统,TaskManager则是执行并行程序 阅读全文
posted @ 2016-07-10 14:56 张安 阅读(1854) 评论(0) 推荐(0) 编辑
摘要: 数据流容错机制 该文档翻译自Data Streaming Fault Tolerance,文档描述flink在流式数据流图上的容错机制。 一、介绍 flink提供了可以一致地恢复数据流应用的状态的容错机制,该机制保证即使在错误发生后,反射回数据流记录的程序的状态操作最终仅执行一次。值得注意的是,该保 阅读全文
posted @ 2016-07-10 14:44 张安 阅读(3254) 评论(0) 推荐(0) 编辑