摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、作业提交 ### Flink的jar文件并不是Flink集群的可执行文件,需要经过转换之后提交给集群转换过程: ~~~ 在Flink Client中,通过反射启动jar中的main函数, ~~~ 生成Flink StreamGraph和JobGraph。将JobGraph提交给Flink集群。
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、FlinkSQL输出表:输出到Kafka ### 输出到kafka ~~~ # 往kafka上输出表 DataStreamSource<String> data = env.addSource(new SourceFunction<String> () { @Override public vo
阅读全文
摘要:一、输出表:输出到文件 ### 输出到文件: tEnv.connect(new FileSystem().path("E:\\data\\out.txt")) .withFormat(new Csv()) .withSchema(new Schema().field("name",DataTypes
阅读全文
摘要:一、FlinkSQL:查询数据 ### Table API ~~~ 官网:https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/tableApi.htmlselect/filter/as Table filter
阅读全文
摘要:一、FlinkSQL ### 什么是 Table API 和 Flink SQL ~~~ Flink 本身是批流统一的处理框架,所以 Table API 和 SQL,就是批流统一的上层处理 API。 ~~~ Table API 是一套内嵌在 Java 和 Scala 语言中的查询 API,它允许我们
阅读全文
摘要:一、外部链接:Connectors Name VersIon Maven dependency SQL CIIentJAR Filesystem Built-in Built-in Elasticsearch 6 flink-connector-elasticsearch6 Download Ela
阅读全文
摘要:一、CEP案例:超时未支付 ### CEP案例:超时未支付 ~~~ 案例3:超时未支付 ~~~ 需求:找出下单后10分钟没有支付的订单 二、实现思路: ### 1、数据源: new PayEvent(1L, "create", 1597905234000L), new PayEvent(1L, "p
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、Flink CEP开发流程 ### Flink CEP 开发流程: ~~~ DataSource 中的数据转换为 DataStream;watermark、keyby ~~~ 定义 Pattern,并将 DataStream 和 Pattern 组合转换为 PatternStream; ~~~
阅读全文
摘要:一、CEP案例:检测交易活跃用户 ### 案例说明 ~~~ 案例2:检测交易活跃用户 ~~~ 需求:找出24小时内,至少5次有效交易的用户: 二、思路: ### 数据源: new ActiveUserBean("100XX", 0.0D, 1597905234000L), new ActiveUse
阅读全文
摘要:一、NFA:非确定有限自动机 ### NFA:非确定有限自动机 ~~~ FlinkCEP在运行时会将用户的逻辑转化成这样的一个NFA Graph (nfa对象) ~~~ 所以有限状态机的工作过程,就是从开始状态,根据不同的输入,自动进行状态转换的过程。 ~~~ 上图中的状态机的功能,是检测二进制数是
阅读全文
摘要:一、Pattern API ### PatternAPI ~~~ 处理事件的规则,被叫作模式(Pattern)。 ~~~ Flink CEP提供了Pattern API用于对输入流数据进行复杂事件规则定义, ~~~ 用来提取符合规则的事件序列。 二、模式大致分为三类: ### 个体模式(Indivi
阅读全文
摘要:一、Flink kafka Producer ### 代码执行流程 ~~~ nc ~~~ 代码接受nc ~~~ 把接收到的nc的数据,给到kafka flink kafka producer 二、编程代码 ### 编程代码 package com.yanqi.flink; import org.ap
阅读全文
摘要:一、Flink CEP ### FlinkCEP ~~~ CEP 即Complex Event Processing - 复杂事件处理, ~~~ Flink CEP 是在 Flink 中实现的复杂时间处理(CEP)库。处理事件的规则,被叫做“模式”(Pattern), ~~~ Flink CEP 提
阅读全文
摘要:一、消费策略 ### 消费策略 ~~~ # setStartFromGroupOffsets()【默认消费策略】 ~~~ 默认读取上次保存的offset信息 ~~~ 如果是应用第一次启动,读取不到上次的offset信息, ~~~ 则会根据这个参数auto.offset.reset的值来进行消费数据
阅读全文
摘要:一、Kafka consumer offset自动提交: ### kafka consumer offset自动提交 ~~~ # kafka consumer offset自动提交的配置需要根据job是否开启checkpoint来区分 ~~~ checkpoint关闭时: ~~~ checkpoin
阅读全文
摘要:一、源码提取说明 ### 源码提取说明 ~~~ # 源码提取说明:FlinkKafkaConsumerBase.java ~~~ # 第537~693行 @Override public void open(Configuration configuration) throws Exception
阅读全文