随笔分类 - Flink
摘要：1.Flink的重启策略 Flink支持不同的重启策略，这些重启策略控制着job失败后如何重启。集群可以通过默认的重启策略来重启，这个默认的重启策略通常在未指定重启策略的情况下使用，而如果Job提交的时候指定了重启策略，这个重启策略就会覆盖掉集群的默认重启策略。 2.重启策略 2.1未开启check
阅读全文
摘要：Flink的窗口机制 1.窗口概述 在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，
阅读全文
摘要：FlinkCDC 1.简介 CDC是Change Data Capture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 CDC种类 CDC主要分为基于查询和基于
阅读全文
摘要：ParameterTool 工具类 object ParameterToolTest { def main(args: Array[String]): Unit = { val params: ParameterTool = ParameterTool.fromArgs(args) val host
阅读全文
摘要：0.目的 测试flink消费kafka的几种消费策略 kafkaSource.setStartFromEarliest() //从起始位置 kafkaSource.setStartFromLatest() //从最新位置 kafkaSource.setStartFromTimestamp("起始时间
阅读全文
摘要：1.导入依赖 <!-- flink Web UI --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>${flink.version
阅读全文
摘要：和其他所有的计算框架一样，flink也有一些基础的开发步骤以及基础，核心的API，当前Java版本，从开发步骤的角度来讲，主要分为四大部分 一.Environment 批处理 // 批处理环境 ExecutionEnvironment env = ExecutionEnvironment.getEx
阅读全文
摘要：一.运行架构 1.架构 基于yarn模式 0) Flink任务提交后，Client向HDFS上传Flink的Jar包和配置 1) 向Yarn ResourceManager提交任务， 2) ResourceManager分配Container资源，Yarn通知NodeManager启动Applica
阅读全文
摘要：一.介绍 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。 Spark | Flink spark 处理方式：批处理 延时性：高延迟（采集周期） 缺点：精准一次性消费，错乱延迟数据，延迟高 flink 处理方式：流处理（有界，无界） 延时性：低延迟 优点：①
阅读全文
