摘要: 架构图 Job Managers, Task Managers, Clients JobManager(Master) 用于协调分布式执行。它们用来调度task,协调检查点,协调失败时恢复等。 Flink运行时至少存在一个JobManager。 一个高可用的运行模式会存在多个JobManager,它 阅读全文
posted @ 2019-11-12 22:24 wellDoneGaben 阅读(1618) 评论(0) 推荐(0) 编辑
摘要: 1. DataStream Source 基于文件 readTextFile(path) 读取 text 文件的数据 readFile(fileInputFormat, path) 通过自定义的读取方式, 来读取文件的数据 基于socket socketTextStream 从 socket 端口中 阅读全文
posted @ 2019-11-12 21:26 wellDoneGaben 阅读(671) 评论(0) 推荐(0) 编辑
摘要: 简介 Flink是一个低延迟、高吞吐、统一的大数据计算引擎, Flink的计算平台可以实现毫秒级的延迟情况下,每秒钟处理上亿次的消息或者事件。 同时Flink提供了一个Exactly once的一致性语义, 保证了数据的正确性。(对比其他: At most once, At least once) 阅读全文
posted @ 2019-11-12 19:33 wellDoneGaben 阅读(638) 评论(0) 推荐(0) 编辑