摘要: 基本API概念(Basic API Concepts)—— For Java 翻译自Basic API Concepts Flink程序是在分布式数据集上(collection)实现Transformation(如filtering, mapping, updating state, joining 阅读全文
posted @ 2016-08-01 12:54 张安 阅读(1759) 评论(0) 推荐(0) 编辑
摘要: 本文翻译自Contributing Code Apache Flink是由自愿的代码贡献者维护、优化及扩展的。Apache Flink社区鼓励任何人贡献源代码。为了使得代码贡献者及复查者之便利,以及保存高质量的代码基础,我们遵循着一个贡献代码的过程,该过程将在本文档中详细描述。 本文包括有关向Fli 阅读全文
posted @ 2016-07-22 13:49 张安 阅读(1042) 评论(0) 推荐(0) 编辑
摘要: 背压(backpressure)监控 本文翻译自Back Pressure Monitoring Flink的web接口提供了监控运行job的背压行为的功能 一、背压(back pressure) 如果你看到了一个任务的back pressure警告(如过高),则意味着该任务产生数据的速度要高于下游 阅读全文
posted @ 2016-07-16 15:39 张安 阅读(3428) 评论(0) 推荐(1) 编辑
摘要: 如何添加一个新的Operator 翻译自How to add a new Operator Java API中可以通过多种途径添加Operator 1. 在DataSet上,以已存在的Operator为基础,组合或具现化(speciallzation)而形成新的Operator 2. 设计新的自定义 阅读全文
posted @ 2016-07-14 18:26 张安 阅读(1373) 评论(0) 推荐(0) 编辑
摘要: 该文档翻译自Jobs and Scheduling 该文档简单描述了Flink是如何调度Job的,以及如何在JobManager上表现并跟踪Job状态。 一、调度 Flink通过任务槽(Task Slot)定义执行资源。每个TaskManager都有一或多个任务槽,每个任务槽都可以运行一个流水线并行 阅读全文
posted @ 2016-07-12 22:46 张安 阅读(1293) 评论(0) 推荐(0) 编辑
摘要: 类型抽取和序列化 本文翻译自Type Extraction and Serialization Flink处理类型的方式比较特殊,包括它自己的类型描述,一般类型抽取和类型序列化框架。该文档描述这些概念并解释其机理。 Java API和Scala API处理类型信息的方式有根本性的区别,所以本文描述的 阅读全文
posted @ 2016-07-10 22:26 张安 阅读(1401) 评论(0) 推荐(0) 编辑
摘要: Flink一般架构和处理模型 本文翻译自General Architecture and Process Model 一、处理过程 当Flink系统启动时,首先启动JobManager和一至多个TaskManager。JobManager负责协调Flink系统,TaskManager则是执行并行程序 阅读全文
posted @ 2016-07-10 14:56 张安 阅读(1854) 评论(0) 推荐(0) 编辑
摘要: 数据流容错机制 该文档翻译自Data Streaming Fault Tolerance,文档描述flink在流式数据流图上的容错机制。 一、介绍 flink提供了可以一致地恢复数据流应用的状态的容错机制,该机制保证即使在错误发生后,反射回数据流记录的程序的状态操作最终仅执行一次。值得注意的是,该保 阅读全文
posted @ 2016-07-10 14:44 张安 阅读(3254) 评论(0) 推荐(0) 编辑
摘要: Flink基础概念 本文描述Flink的基础概念,翻译自https://ci.apache.org/projects/flink/flink-docs-release-1.0/concepts/concepts.html 一、程序(Progrram)和数据流(Dataflows) Flink程序的构 阅读全文
posted @ 2016-06-23 14:55 张安 阅读(1740) 评论(1) 推荐(0) 编辑
摘要: 从《时序计算通用模型接口 OpenMI开发技术及应用》一书中的第一章的对接口要求描述,我想到InfoSphere streams的流数据处理模式刚好可以满足这种模型/数据之间对接的需求。 如上图1-2和1-4所示的模型连接情景,可将之以InfoSphere Streams中的设计模式处理。从需求的角 阅读全文
posted @ 2016-03-08 15:54 张安 阅读(350) 评论(0) 推荐(0) 编辑