摘要：
前言 之前在 Flink 学习 — Flink 配置文件说明 讲过 Flink 的配置，但是后面陆续有人来问我一些配置相关的东西，在加上我现在对 Flink 也更熟悉了些，这里我就再写下 Flink JobManager 的配置相关信息。 在 Flink 学习 — Apache Flink 入门介绍 阅读全文
摘要：
前言 之前文章 《Flink学习》—— Flink 写入数据到 ElasticSearch 写了如何将 Kafka 中的数据存储到 ElasticSearch 中，里面其实就已经用到了 Flink 自带的 Kafka source connector（FlinkKafkaConsumer）。存入到 阅读全文
摘要：
前言 之前写了不少 Flink 文章了，也有不少 demo，但是文章写的时候都是在本地直接运行 Main 类的 main 方法，其实 Flink 是支持在 UI 上上传 Flink Job 的 jar 包，然后运行得。最开始在第一篇 《Flink学习》—— Mac 上搭建 Flink 1.6.0 环 阅读全文
摘要：
前言 前面 FLink 的文章中我们已经介绍了说 Flink 已经有很多自带的 Connector。 1、《从0到1学习Flink》—— Data Source 介绍 2、《从0到1学习Flink》—— Data Sink 介绍 其中包括了 Source 和 Sink 的，后面我也讲了下如何自定义自 阅读全文
摘要：
一、持久化的作用 1. 什么是持久化 持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。持久化Redis所有数据保持在内存中，对数据的更新将异步地保存到磁盘上。 2. 持久化的实现方式 快照方式持久化 快照方式持久化就是在某时刻把所有数据进行完整备份 阅读全文
摘要：
前言 Flink 在流程序中支持不同的 Time 概念，就比如有 Processing Time、Event Time 和 Ingestion Time。 下面我们一起来看看这几个 Time： Processing Time Processing Time 是指事件被处理时机器的系统时间。 当流程序 阅读全文
摘要：
前言 目前有许多数据分析的场景从批处理到流处理的演变， 虽然可以将批处理作为流处理的特殊情况来处理，但是分析无穷集的流数据通常需要思维方式的转变并且具有其自己的术语（例如，“windowing（窗口化）”、“at-least-once（至少一次）”、“exactly-once（只有一次）” ）。 对 阅读全文
摘要：
前言 在前面 Flink 的文章 《Flink学习》—— Apache Flink 入门介绍 中就说过 Flink 程序的结构 Flink 应用程序结构就是如上图所示： 1、Source: 数据源，Flink 在流处理和批处理上的 source 大概有 4 类：基于本地集合的 source、基于文件 阅读全文
摘要：
前言 前篇文章 《Flink学习》—— Data Sink 介绍 介绍了 Flink Data Sink，也介绍了 Flink 自带的 Sink，那么如何自定义自己的 Sink 呢？这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。 准备工作 阅读全文
摘要：
前言 再上一篇文章中 《Flink学习》—— Data Source 介绍 讲解了 Flink Data Source ，那么这里就来讲讲 Flink Data Sink 吧。 首先 Sink 的意思是： 大概可以猜到了吧！Data sink 有点把数据存储下来（落库）的意思。 如上图，Source 阅读全文
摘要：
前言 在 《Flink学习》—— Data Source 介绍 文章中，我给大家介绍了 Flink Data Source 以及简短的介绍了一下自定义 Data Source，这篇文章更详细的介绍下，并写一个 demo 出来让大家理解。 Flink Kafka source 准备工作 我们先来看下 阅读全文
摘要：
前言 Data Sources 是什么呢？就字面意思其实就可以知道：数据来源。 Flink 做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink 就能够一直计算下去，这个 Da 阅读全文
摘要：
前面文章我们已经知道 Flink 是什么东西了，安装好 Flink 后，我们再来看下安装路径下的配置文件吧。 安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。 flink-conf.yaml 基础配置 # jobManage 阅读全文
摘要：
准备工作 1、安装查看 Java 的版本号，推荐使用 Java 8。 安装 Flink 2、在 Mac OS X 上安装 Flink 是非常方便的。推荐通过 homebrew 来安装。 ```java brew install apache-flink ``` 3、检查安装： ```java fli 阅读全文
摘要：
前言 Flink 是一种流式计算框架，为什么我会接触到 Flink 呢？ 因为我目前在负责的是监控平台的告警部分，负责采集到的监控数据会直接往 kafka 里塞，然后告警这边需要从 kafka topic 里面实时读取到监控数据，并将读取到的监控数据做一些 聚合/转换/计算 等操作，然后将计算后的结 阅读全文