摘要：
简介 FlinkCEP是在Flink之上实现的复杂事件处理（CEP）库。 它允许你在无界的事件流中检测事件模式，让你有机会掌握数据中重要的事项。 Flink CEP 首先需要用户创建定义一个个pattern，然后通过链表将由前后逻辑关系的pattern串在一起，构成模式匹配的逻辑表达。 可以应用的场 阅读全文
摘要：
History Server(历史服务) Flink提供了记录历史任务运行情况的服务，可用于在关闭Flink群集后依然能够查询已完成作业的相关信息。 配置: 配置完后, 选择一台机器, 启动 history server服务: 访问历史服务器 8082端口 Connector(连接器) 介绍 lin 阅读全文
摘要：
Operator Chains(操作链) Flink出于分布式执行的目的，将operator的subtask链接在一起形成task（类似spark中的管道）。 每个task在一个线程中执行。 将operators链接成task是非常有效的优化：它可以减少线程与线程间的切换和数据缓冲的开销，并在降低延 阅读全文
摘要：
简介 Apache Flink提供了一种容错机制，可以持续恢复数据流应用程序的状态。 该机制确保即使出现故障，经过恢复，程序的状态也会回到以前的状态。 Flink 主持 at least once 语义 和 exactly once 语义 Flink 通过定期地做 checkpoint 来实现容错 阅读全文
摘要：
1. 累加器 Accumulator即累加器，可以在分布式统计数据，只有在任务结束之后才能获取累加器的最终结果。 计数器是累加器的具体实现，有：IntCounter,LongCounter和DoubleCounter。 注意事项: 需要在算子内部创建累加器对象 通常在Rich函数中的open方法中注 阅读全文
摘要：
1. 事件时间和水印诞生的背景 在实际的流式计算中数据到来的顺序对计算结果的正确性有至关重要的影响 比如：某数据源中的某些数据由于某种原因(如：网络原因，外部存储自身原因)会有2秒的延时，也就是在实际时间的第1秒产生的数据有可能在第3秒中产生的数据之后到来。 假设在一个5秒的滚动窗口中，有一个Eve 阅读全文
摘要：
1. 总览 Window 是flink处理无限流的核心,Windows将流拆分为有限大小的“桶”，我们可以在其上应用计算。 Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。 而窗口（window）就是从 Stre 阅读全文
摘要：
1. 并行的数据流 Flink程序由多个任务（转换/运算符，数据源和接收器）组成，Flink中的程序本质上是并行和分布式的。 在执行期间，流具有一个或多个流分区，并且每个operator具有一个或多个operator \ 子任务\ 。 operator子任务彼此独立，并且可以在不同的线程中执行，这些 阅读全文
摘要：
架构图 Job Managers, Task Managers, Clients JobManager(Master) 用于协调分布式执行。它们用来调度task，协调检查点，协调失败时恢复等。 Flink运行时至少存在一个JobManager。 一个高可用的运行模式会存在多个JobManager，它 阅读全文
摘要：
1. DataStream Source 基于文件 readTextFile(path) 读取 text 文件的数据 readFile(fileInputFormat, path) 通过自定义的读取方式, 来读取文件的数据 基于socket socketTextStream 从 socket 端口中 阅读全文