摘要: <! more 前言 之前文章 "《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch" 写了如何将 Kafka 中的数据存储到 ElasticSearch 中,里面其实就已经用到了 Flink 自带的 Kafka source connector(FlinkKafka 阅读全文
posted @ 2019-01-27 15:44 zhisheng_tian 阅读(1529) 评论(0) 推荐(0) 编辑
摘要: <! more 前言 之前写了不少 Flink 文章了,也有不少 demo,但是文章写的时候都是在本地直接运行 Main 类的 main 方法,其实 Flink 是支持在 UI 上上传 Flink Job 的 jar 包,然后运行得。最开始在第一篇 "《从0到1学习Flink》—— Mac 上搭建 阅读全文
posted @ 2019-01-27 15:43 zhisheng_tian 阅读(882) 评论(0) 推荐(0) 编辑
摘要: <! more 前言 前面 FLink 的文章中我们已经介绍了说 Flink 已经有很多自带的 Connector。 1、[《从0到1学习Flink》—— Data Source 介绍 ](http://www.54tianzhisheng.cn/2018/10/28/flink sources/) 阅读全文
posted @ 2019-01-27 15:16 zhisheng_tian 阅读(2720) 评论(0) 推荐(0) 编辑
摘要: <! more 前言 Flink 在流程序中支持不同的 Time 概念,就比如有 Processing Time、Event Time 和 Ingestion Time。 下面我们一起来看看这几个 Time: Processing Time Processing Time 是指事件被处理时机器的系统 阅读全文
posted @ 2019-01-27 15:15 zhisheng_tian 阅读(635) 评论(0) 推荐(0) 编辑
摘要: <! more 前言 目前有许多数据分析的场景从批处理到流处理的演变, 虽然可以将批处理作为流处理的特殊情况来处理,但是分析无穷集的流数据通常需要思维方式的转变并且具有其自己的术语(例如,“windowing(窗口化)”、“at least once(至少一次)”、“exactly once(只有一 阅读全文
posted @ 2019-01-27 14:55 zhisheng_tian 阅读(365) 评论(0) 推荐(0) 编辑
摘要: <! more 前言 在第一篇介绍 Flink 的文章 "《《从0到1学习Flink》—— Apache Flink 介绍》" 中就说过 Flink 程序的结构 Flink 应用程序结构就是如上图所示: 1、Source: 数据源,Flink 在流处理和批处理上的 source 大概有 4 类:基于 阅读全文
posted @ 2019-01-27 14:53 zhisheng_tian 阅读(387) 评论(0) 推荐(0) 编辑