随笔分类 -  bdv020-flink

1 2 3 4 下一页

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-13 15:29 yanqi_vip 阅读(4) 评论(0) 推荐(0) 编辑

|NO.Z.00069|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-13 15:28 yanqi_vip 阅读(4) 评论(0) 推荐(0) 编辑

|NO.Z.00068|——————————|BigDataEnd|——|Hadoop&Flink.V01|——|Flink.v01|Flink SQL|作业提交|
摘要:一、作业提交 ### Flink的jar文件并不是Flink集群的可执行文件,需要经过转换之后提交给集群转换过程: ~~~ 在Flink Client中,通过反射启动jar中的main函数, ~~~ 生成Flink StreamGraph和JobGraph。将JobGraph提交给Flink集群。 阅读全文

posted @ 2022-04-13 15:28 yanqi_vip 阅读(26) 评论(0) 推荐(0) 编辑

|NO.Z.00067|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-13 15:28 yanqi_vip 阅读(8) 评论(0) 推荐(0) 编辑

|NO.Z.00066|——————————|BigDataEnd|——|Hadoop&Flink.V05|——|Flink.v04|Flink SQL|Flink SQL输出表|输出到kafka|
摘要:一、FlinkSQL输出表:输出到Kafka ### 输出到kafka ~~~ # 往kafka上输出表 DataStreamSource<String> data = env.addSource(new SourceFunction<String> () { @Override public vo 阅读全文

posted @ 2022-04-13 15:27 yanqi_vip 阅读(97) 评论(0) 推荐(0) 编辑

|NO.Z.00065|——————————|BigDataEnd|——|Hadoop&Flink.V04|——|Flink.v04|Flink SQL|Flink SQL输出表|输出到文件|
摘要:一、输出表:输出到文件 ### 输出到文件: tEnv.connect(new FileSystem().path("E:\\data\\out.txt")) .withFormat(new Csv()) .withSchema(new Schema().field("name",DataTypes 阅读全文

posted @ 2022-04-13 15:26 yanqi_vip 阅读(15) 评论(0) 推荐(0) 编辑

|NO.Z.00064|——————————|BigDataEnd|——|Hadoop&Flink.V03|——|Flink.v03|Flink SQL|Flink SQL查询数据|Table API|SQL|
摘要:一、FlinkSQL:查询数据 ### Table API ~~~ 官网:https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/tableApi.htmlselect/filter/as Table filter 阅读全文

posted @ 2022-04-13 15:25 yanqi_vip 阅读(4) 评论(0) 推荐(0) 编辑

|NO.Z.00062|——————————|BigDataEnd|——|Hadoop&Flink.V01|——|Flink.v01|Flink SQL|什么是Table API|Flink SQL|入门代码|
摘要:一、FlinkSQL ### 什么是 Table API 和 Flink SQL ~~~ Flink 本身是批流统一的处理框架,所以 Table API 和 SQL,就是批流统一的上层处理 API。 ~~~ Table API 是一套内嵌在 Java 和 Scala 语言中的查询 API,它允许我们 阅读全文

posted @ 2022-04-13 15:24 yanqi_vip 阅读(52) 评论(0) 推荐(0) 编辑

|NO.Z.00063|——————————|BigDataEnd|——|Hadoop&Flink.V02|——|Flink.v02|Flink SQL|Flink SQL外部链接|从文件获取数据流|从kafka中获取数据|
摘要:一、外部链接:Connectors Name VersIon Maven dependency SQL CIIentJAR Filesystem Built-in Built-in Elasticsearch 6 flink-connector-elasticsearch6 Download Ela 阅读全文

posted @ 2022-04-13 15:24 yanqi_vip 阅读(69) 评论(0) 推荐(0) 编辑

|NO.Z.00060|——————————|BigDataEnd|——|Hadoop&Flink.V15|——|Flink.v15|Flink CEP|Flink CEP案例|超时未支付|
摘要:一、CEP案例:超时未支付 ### CEP案例:超时未支付 ~~~ 案例3:超时未支付 ~~~ 需求:找出下单后10分钟没有支付的订单 二、实现思路: ### 1、数据源: new PayEvent(1L, "create", 1597905234000L), new PayEvent(1L, "p 阅读全文

posted @ 2022-04-13 15:23 yanqi_vip 阅读(17) 评论(0) 推荐(0) 编辑

|NO.Z.00061|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-13 15:23 yanqi_vip 阅读(4) 评论(0) 推荐(0) 编辑

|NO.Z.00058|——————————|BigDataEnd|——|Hadoop&Flink.V13|——|Flink.v13|Flink CEP|Flink CEP案例|恶意登录测试|
摘要:一、Flink CEP开发流程 ### Flink CEP 开发流程: ~~~ DataSource 中的数据转换为 DataStream;watermark、keyby ~~~ 定义 Pattern,并将 DataStream 和 Pattern 组合转换为 PatternStream; ~~~ 阅读全文

posted @ 2022-04-13 15:22 yanqi_vip 阅读(35) 评论(0) 推荐(0) 编辑

|NO.Z.00059|——————————|BigDataEnd|——|Hadoop&Flink.V14|——|Flink.v14|Flink CEP|Flink CEP案例|检测交易|活跃用户|
摘要:一、CEP案例:检测交易活跃用户 ### 案例说明 ~~~ 案例2:检测交易活跃用户 ~~~ 需求:找出24小时内,至少5次有效交易的用户: 二、思路: ### 数据源: new ActiveUserBean("100XX", 0.0D, 1597905234000L), new ActiveUse 阅读全文

posted @ 2022-04-13 15:22 yanqi_vip 阅读(58) 评论(0) 推荐(0) 编辑

|NO.Z.00057|——————————|BigDataEnd|——|Hadoop&Flink.V12|——|Flink.v12|Flink CEP|NFA 非确定有限自动机|
摘要:一、NFA:非确定有限自动机 ### NFA:非确定有限自动机 ~~~ FlinkCEP在运行时会将用户的逻辑转化成这样的一个NFA Graph (nfa对象) ~~~ 所以有限状态机的工作过程,就是从开始状态,根据不同的输入,自动进行状态转换的过程。 ~~~ 上图中的状态机的功能,是检测二进制数是 阅读全文

posted @ 2022-04-13 15:21 yanqi_vip 阅读(28) 评论(0) 推荐(0) 编辑

|NO.Z.00056|——————————|BigDataEnd|——|Hadoop&Flink.V11|——|Flink.v11|Flink CEP|Flink CEP基础|个体模式|模式序列|模式检测|匹配事件提取|超时事件提取|
摘要:一、Pattern API ### PatternAPI ~~~ 处理事件的规则,被叫作模式(Pattern)。 ~~~ Flink CEP提供了Pattern API用于对输入流数据进行复杂事件规则定义, ~~~ 用来提取符合规则的事件序列。 二、模式大致分为三类: ### 个体模式(Indivi 阅读全文

posted @ 2022-04-13 15:21 yanqi_vip 阅读(28) 评论(0) 推荐(0) 编辑

|NO.Z.00054|——————————|BigDataEnd|——|Hadoop&Flink.V09|——|Flink.v09|Flink Connector|kafka|Flink kafka Producer|
摘要:一、Flink kafka Producer ### 代码执行流程 ~~~ nc ~~~ 代码接受nc ~~~ 把接收到的nc的数据,给到kafka flink kafka producer 二、编程代码 ### 编程代码 package com.yanqi.flink; import org.ap 阅读全文

posted @ 2022-04-13 15:20 yanqi_vip 阅读(13) 评论(0) 推荐(0) 编辑

|NO.Z.00055|——————————|BigDataEnd|——|Hadoop&Flink.V10|——|Flink.v10|Flink CEP|Flink CEP基础|
摘要:一、Flink CEP ### FlinkCEP ~~~ CEP 即Complex Event Processing - 复杂事件处理, ~~~ Flink CEP 是在 Flink 中实现的复杂时间处理(CEP)库。处理事件的规则,被叫做“模式”(Pattern), ~~~ Flink CEP 提 阅读全文

posted @ 2022-04-13 15:20 yanqi_vip 阅读(27) 评论(0) 推荐(0) 编辑

|NO.Z.00052|——————————|BigDataEnd|——|Hadoop&Flink.V07|——|Flink.v07|Flink Connector|kafka|消费策略|
摘要:一、消费策略 ### 消费策略 ~~~ # setStartFromGroupOffsets()【默认消费策略】 ~~~ 默认读取上次保存的offset信息 ~~~ 如果是应用第一次启动,读取不到上次的offset信息, ~~~ 则会根据这个参数auto.offset.reset的值来进行消费数据 阅读全文

posted @ 2022-04-13 15:19 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00053|——————————|BigDataEnd|——|Hadoop&Flink.V08|——|Flink.v08|Flink Connector|kafka|Kafka consumer offset自动提交|
摘要:一、Kafka consumer offset自动提交: ### kafka consumer offset自动提交 ~~~ # kafka consumer offset自动提交的配置需要根据job是否开启checkpoint来区分 ~~~ checkpoint关闭时: ~~~ checkpoin 阅读全文

posted @ 2022-04-13 15:19 yanqi_vip 阅读(23) 评论(0) 推荐(0) 编辑

|NO.Z.00051|——————————|BigDataEnd|——|Hadoop&Flink.V06|——|Flink.v06|Flink Connector|kafka|源码理解|源码说明.V4|]
摘要:一、源码提取说明 ### 源码提取说明 ~~~ # 源码提取说明:FlinkKafkaConsumerBase.java ~~~ # 第537~693行 @Override public void open(Configuration configuration) throws Exception 阅读全文

posted @ 2022-04-13 15:18 yanqi_vip 阅读(16) 评论(0) 推荐(0) 编辑

1 2 3 4 下一页
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

导航

统计

点击右上角即可分享
微信分享提示