06 2021 档案

Flink从Kafka取数WordCount后TableApi写入ES
摘要：一、背景说明 需求为从Kafka消费对应主题数据，通过TableApi对数据进行WordCount后，基于DDL写法将数据写入ES。 二、代码部分 说明：代码中关于Kafka及ES的连接部分可以抽象到单独的工具类使用，这里只是一个演示的小demo，后续操作均可自行扩展，如Kakfa一般处理为json 阅读全文
posted @ 2021-06-20 10:34 Rango_lhl 阅读(395) 评论(0) 推荐(0) 编辑
FlinkSQL写入Kafka/ES/MySQL示例-JAVA
摘要：一、背景说明 Flink的API做了4层的封装，上两层TableAPI、SQL语法相对简单便于编写，面对小需求可以快速上手解决，本文参考官网及部分线上教程编写source端、sink端代码，分别读取socket、kafka及文本作为source，并将流数据输出写入Kafka、ES及MySQL，方便后 阅读全文
posted @ 2021-06-18 16:53 Rango_lhl 阅读(3484) 评论(0) 推荐(0) 编辑
Flink使用connect实现双流join全外连接
摘要：一、背景说明 在Flink中可以使用Window join或者Interval Join实现双流join，不过使用join只能实现内连接，如果要实现左右连接或者外连接，则可以通过connect算子来实现。现有订单数据及支付数据如下方说明，基于数据时间实现订单及支付数据的关联，超时或者缺失则由侧输出流 阅读全文
posted @ 2021-06-08 17:58 Rango_lhl 阅读(3334) 评论(0) 推荐(0) 编辑