随笔分类 - Flink
摘要：Flink1.12整合Hadoop3.x报错 由于项目需要，需要搞一段时间的规则预警，于是先在项目的阿里云服务器上安装了flink集群和hadoop，但是在跑官网示例的时候，直接报错了，具体信息如下： Caused by: java.lang.RuntimeException: org.apache
阅读全文
摘要：Flink-状态管理 在 Flink 的框架中，进行有状态的计算是 Flink 最重要的特性之一。所谓的状态，其实指的是 Flink 程序的中间计算结果。Flink 支持了不同类型的状态，并且针对状态的持久化还提供了专门的机制和状态管理器。 状态 我们在 Flink 的官方博客中找到这样一段话，可以
阅读全文
摘要：Flink的Watermaker 时间的分类 在Flink的流式处理中，会涉及到时间的不同概念，如下图所示： 事件时间EventTime: 事件真真正正发生产生的时间 摄入时间IngestionTime: 事件到达Flink的时间 处理时间ProcessingTime: 事件真正被处理/计算的时间
阅读全文
摘要：Flink的高级API Flink的基石 Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 Checkpoint 这是Flink最重要的一个特性。 Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快照，从而提供了
阅读全文
摘要：Source 基于集合 /** * @author WGR * @create 2021/9/3 -- 13:38 */ public class SourceTest1 { //注：并行度默认取的是CPU的线程，我电脑为8核16线程。 public static void main(String[
阅读全文
摘要：Flink 编程模型和流式处理 Flink 程序的基础构建模块是流（Streams）和转换（Transformations），每一个数据流起始于一个或多个 Source，并终止于一个或多个 Sink。数据流类似于有向无环图（DAG）。 在分布式运行环境中，Flink 提出了算子链的概念，Flink
阅读全文
摘要：Flink用Lambda表达式报错 Caused by: org.apache.flink.api.common.functions.InvalidTypesException: The generic type parameters of 'Collector' are missing. In m
阅读全文
摘要：公司主要做的事物联网和数字孪生，下半年我们项目要接入大数据，要进行处理再整合Drools，进行规则预警。最近几个月一直在忙pmp考试和平时工作，也没有进行学习整理，最近就开始学习flink和kafka，记点笔记。 Flink组件栈 一个计算框架要有长远的发展，必须打造一个完整的 Stack。只有上层
阅读全文
