关闭页面特效
随笔分类 - 大数据之flink
批处理+流处理
项目实战 从 0 到 1 学习之Flink（11）Flink 写入数据到 Kafka
摘要：前言 之前文章 《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch 写了如何将 Kafka 中的数据存储到 ElasticSearch 中，里面其实就已经用到了 Flink 自带的 Kafka source connector（FlinkKafkaConsumer）。
阅读全文
项目实战从 0 到 1 学习之Flink（10）Flink 写入数据到 ElasticSearch
摘要：前言 前面 FLink 的文章中我们已经介绍了说 Flink 已经有很多自带的 Connector。 其中包括了 Source 和 Sink 的，后面我也讲了下如何自定义自己的 Source 和 Sink。 那么今天要做的事情是啥呢？就是介绍一下 Flink 自带的 ElasticSearch Co
阅读全文
Flink 从 0 到 1 学习之（9）Flink 项目如何运行？
摘要：前言 之前写了不少 Flink 文章了，也有不少 demo，但是文章写的时候都是在本地直接运行 Main 类的 main 方法，其实 Flink 是支持在 UI 上上传 Flink Job 的 jar 包，然后运行得。 准备 编译打包 我们在整个项目 （flink-learning）pom.xml
阅读全文
Flink 从 0 到 1 学习之（8）介绍Flink中的Stream Windows
摘要：前言 目前有许多数据分析的场景从批处理到流处理的演变， 虽然可以将批处理作为流处理的特殊情况来处理，但是分析无穷集的流数据通常需要思维方式的转变并且具有其自己的术语（例如，“windowing（窗口化）”、“at-least-once（至少一次）”、“exactly-once（只有一次）” ）。 对
阅读全文
Flink 从 0 到 1 学习之（7）Flink Data transformation(转换)
摘要：前言 Flink 应用程序结构就是如上图所示： 1、Source: 数据源，Flink 在流处理和批处理上的 source 大概有 4 类：基于本地集合的 source、基于文件的 source、基于网络套接字的 source、自定义的 source。自定义的 source 常见的有 Apache
阅读全文
Flink 从 0 到 1 学习之（6）如何自定义 Data Sink ？
摘要：前言 前篇文章 介绍了 Flink Data Sink，也介绍了 Flink 自带的 Sink，那么如何自定义自己的 Sink 呢？这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。 准备工作 我们先来看下 Flink 从 Kafka topi
阅读全文
Flink 从 0 到 1 学习之（5）如何自定义 Data Source ？
摘要：前言 我给大家介绍了 Flink Data Source 以及简短的介绍了一下自定义 Data Source，这篇文章更详细的介绍下，并写一个 demo 出来让大家理解。 Flink Kafka source 准备工作 我们先来看下 Flink 从 Kafka topic 中获取数据的 demo，首
阅读全文
Flink 从 0 到 1 学习之（4）Data Sink 介绍
摘要：首先 Sink 的意思是： 大概可以猜到了吧！Data sink 有点把数据存储下来（落库）的意思。 如上图，Source 就是数据的来源，中间的 Compute 其实就是 Flink 干的事情，可以做一系列的操作，操作完后就把计算后的数据结果 Sink 到某个地方。（可以是 MySQL、Elast
阅读全文
Flink 从 0 到 1 学习之（3） Data Source 介绍
摘要：前言 Data Sources 是什么呢？就字面意思其实就可以知道：数据来源。 Flink 做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink 就能够一直计算下去，这个 Da
阅读全文
Flink 从 0 到 1 学习之（2） Flink 配置文件详解
摘要：前面文章我们已经知道 Flink 是什么东西了，安装好 Flink 后，我们再来看下安装路径下的配置文件吧。 安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。 flink-conf.yaml 基础配置 12345678910
阅读全文
Flink 从 0 到 1 学习之（1）Apache Flink 介绍
摘要：前言 Flink 是一种流式计算框架，为什么我会接触到 Flink 呢？ 因为我目前在负责的是监控平台的告警部分，负责采集到的监控数据会直接往 kafka 里塞，然后告警这边需要从 kafka topic 里面实时读取到监控数据，并将读取到的监控数据做一些 聚合/转换/计算 等操作，然后将计算后的结
阅读全文
flink入门到实战（10）Apache Flink 介绍
摘要：前言 Flink 是一种流式计算框架，为什么我会接触到 Flink 呢？ 因为我目前在负责的是监控平台的告警部分，负责采集到的监控数据会直接往 kafka 里塞，然后告警这边需要从 kafka topic 里面实时读取到监控数据，并将读取到的监控数据做一些 聚合/转换/计算 等操作，然后将计算后的结
阅读全文
flink入门到实战（9）Flink 作业问题分析和调优实践
摘要：1. 原理剖析 2. 性能定位 3. 经典场景调优 4. 内存调优 Checkpoint 机制 1.什么是 checkpoint 简单地说就是 Flink 为了达到容错和 exactly-once 语义的功能，定期把 state 持久化下来，而这一持久化的过程就叫做 checkpoint ，它是 F
阅读全文
flink入门到实战（8）flink 有状态 udf引发的大坑一
摘要：场景 最近在做一个画像的任务，sql实现的，其中有一个udf，会做很多事情，包括将从redis读出历史值加权，并将中间结果和加权后的结果更新到redis。 大家都知道，flink 是可以支持事件处理的，也就是可以没有时间的概念，那么在聚合，join等操作的时候，flink内部会维护一个状态，假如此时
阅读全文
flink入门到实战（7）flink checkpoint 在 window 操作下 全局配置失效的问题
摘要：背景 flink 版本号 1.6.2 flink 集群模式 flink on yarn 使用flink 读取kafka 数据 简单处理之后使用自定义richWindowFunction 处理数据的时候出现异常报错: AsynchronousException{java.lang.Exception:
阅读全文
flink入门到实战（6）flink批处理从0到1
摘要：一、DataSet API之Data Sources（消费者之数据源） 介绍： flink提供了大量的已经实现好的source方法，你也可以自定义source 通过实现sourceFunction接口来自定义无并行度的source， 或者你也可以通过实现ParallelSourceFunction
阅读全文
flink入门到实战（5）flink流处理从0到1
摘要：一、DataStream API之Data Sources（消费者之数据源） 介绍： source是程序的数据源输入，你可以通过StreamExecutionEnvironment.addSource(sourceFunction)来为你的程序添加一个source。 flink提供了大量的已经实现好
阅读全文
flink入门到实战（4）flink基础篇
摘要：Flink面试--核心概念和基础考察 1、简单介绍一下 Flink 2、Flink 相比传统的 Spark Streaming 有什么区别? 3、Flink 的组件栈有哪些？ 面试知识带你，分为以下几个部分： 第一部分：Flink 中的核心概念和基础篇，包含了 Flink 的整体介绍、核心概念、算子
阅读全文
flink入门到实战（3）flink进阶篇
摘要：Flink 面试--进阶篇 1、Flink是如何支持批流一体的？ 2、Flink是如何做到高效的数据交换的？ 3、Flink是如何做容错的？ 4、Flink 分布式快照的原理是什么？ 5、Flink 是如何保证Exactly-once语义的？ 6、Flink 的 kafka 连接器有什么特别的地方？
阅读全文
flink入门到实战（2）flink优化总结
摘要：一、高性能Flink SQL优化技巧 1、Group Aggregate优化技巧 开启MicroBatch或MiniBatch（提升吞吐） MicroBatch和MiniBatch都是微批处理，只是微批的触发机制略有不同。原理同样是缓存一定的数据后再触发处理，以减少对State的访问，从而提升吞吐并
阅读全文
