随笔分类 - flink
flink相关笔记
摘要：flink 流的合并操作 union union只能合并类型相同的数据，合并的结果仍然是DataStream，结果操作与未合并之前一致。 public static void main(String[] args) throws Exception { //流的合并操作 union 只能合并类型相同
阅读全文
摘要：窗口分类 按照驱动类型分类 窗口本身是截取有界数据的一种方式，所以窗口一个非常重要的信息就是“怎样截取数据”。换句话说，就是以什么标准来开发和结束数据的截取。 按照驱动类型分类主要分为两类：时间窗口与计数窗口 1、时间窗口 时间窗口以时间点来定义窗口的开始与结束，所以截取出的就是某一段时间的数据，窗
阅读全文
摘要：flink处理延迟 flink主要是处理实时数据的，在处理实时数据的过程中，难免会遇到乱序的存在。以事件时间举例，先发生的事件后到处理算子。flink针对乱序数据的处理主要有三种方式： 拨慢水位线的生成，这种情况会在声明的窗口时间中，类似延迟窗口时间的大小，实际是把水位线的生成减小了1秒，导致窗口延
阅读全文
摘要：flink的执行模式 flink既能处理离线数据，也能处理实时数据，在1.12.0版本以前，批数据返回的数据集合是dataSet，对应一套dataSet的api，从1.12.0版本以后，flink实现了api的流批一体化处理。DataStream新增一个执行模式（execution mode），通过
阅读全文
