摘要:
<! more 前言 Flink 是一种流式计算框架,为什么我会接触到 Flink 呢?因为我目前在负责的是监控平台的告警部分,负责采集到的监控数据会直接往 kafka 里塞,然后告警这边需要从 kafka topic 里面实时读取到监控数据,并将读取到的监控数据做一些 聚合/转换/计算 等操作,然 阅读全文
摘要:
<! more 前言 再上一篇文章中 "《从0到1学习Flink》—— Data Source 介绍" 讲解了 Flink Data Source ,那么这里就来讲讲 Flink Data Sink 吧。 首先 Sink 的意思是: 大概可以猜到了吧!Data sink 有点把数据存储下来(落库)的 阅读全文
摘要:
<! more 准备工作 1、安装查看 Java 的版本号,推荐使用 Java 8。 安装 Flink 2、在 Mac OS X 上安装 Flink 是非常方便的。推荐通过 homebrew 来安装。 3、检查安装: 结果: 4、启动 flink 接着就可以进入 web 页面(http://loca 阅读全文
摘要:
<! more 前言 在 "《从0到1学习Flink》—— Data Source 介绍" 文章中,我给大家介绍了 Flink Data Source 以及简短的介绍了一下自定义 Data Source,这篇文章更详细的介绍下,并写一个 demo 出来让大家理解。 Flink Kafka sourc 阅读全文
摘要:
<! more 前面文章我们已经知道 Flink 是什么东西了,安装好 Flink 后,我们再来看下安装路径下的配置文件吧。 安装目录下主要有 flink conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。 flink conf.yaml 基础配置 高可用 阅读全文
摘要:
<! more 前言 在第一篇介绍 Flink 的文章 "《《从0到1学习Flink》—— Apache Flink 介绍》" 中就说过 Flink 程序的结构 Flink 应用程序结构就是如上图所示: 1、Source: 数据源,Flink 在流处理和批处理上的 source 大概有 4 类:基于 阅读全文
摘要:
<! more 前言 Data Sources 是什么呢?就字面意思其实就可以知道:数据来源。 Flink 做为一款流式计算框架,它可用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即实时的处理些实时数据流,实时的产生数据流结果,只要数据源源不断的过来,Flink 就能够一直计算 阅读全文
摘要:
<! more 前言 前篇文章 "《从0到1学习Flink》—— Data Sink 介绍" 介绍了 Flink Data Sink,也介绍了 Flink 自带的 Sink,那么如何自定义自己的 Sink 呢?这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 M 阅读全文