摘要: Flink提供了自定义函数的基础能力,在需要满足特殊业务场景需求时,根据自身需要按需定制自己的UDF 下面将简单演示一个UDF的定义和UDF的使用过程: (1)定义一个UDF package com.udf; import org.apache.flink.table.functions.Scala 阅读全文
posted @ 2022-08-06 16:37 NBI大数据可视化分析 阅读(155) 评论(0) 推荐(0) 编辑
摘要: public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.s 阅读全文
posted @ 2022-08-06 16:35 NBI大数据可视化分析 阅读(181) 评论(0) 推荐(0) 编辑
摘要: 这里不展开zookeeper、kafka安装配置 (1)首先需要启动zookeeper和kafka (2)定义一个kafka生产者 package com.producers; import com.alibaba.fastjson.JSONObject; import com.pojo.Event 阅读全文
posted @ 2022-08-06 16:34 NBI大数据可视化分析 阅读(285) 评论(0) 推荐(0) 编辑
摘要: public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.s 阅读全文
posted @ 2022-08-06 16:27 NBI大数据可视化分析 阅读(93) 评论(0) 推荐(0) 编辑
摘要: 本章节主要演示从socket接收数据,通过滚动窗口每30秒运算一次窗口数据,然后将结果写入Mysql数据库 (1)准备一个实体对象,消息对象 package com.pojo; import java.io.Serializable; /** * Created by lj on 2022-07-0 阅读全文
posted @ 2022-08-06 16:26 NBI大数据可视化分析 阅读(127) 评论(0) 推荐(0) 编辑
摘要: 滑动窗口(Sliding Windows)与滚动窗口类似,滑动窗口的大小也是固定的。区别在于,窗口之间并不是首尾相接的,而是可以“错开”一定的位置。如果看作一个窗口的运动,那么就像是向前小步“滑动”一样。定义滑动窗口的参数有两个:除去窗口大小(window size)之外,还有一个滑动步长(wind 阅读全文
posted @ 2022-08-06 16:22 NBI大数据可视化分析 阅读(248) 评论(0) 推荐(0) 编辑
摘要: 滚动窗口(Tumbling Windows) 滚动窗口有固定的大小,是一种对数据进行均匀切片的划分方式。窗口之间没有重叠,也不会有间隔,是“首尾相接”的状态。滚动窗口可以基于时间定义,也可以基于数据个数定义;需要的参数只有一个,就是窗口的大小(window size)。 demo演示: 场景:接收通 阅读全文
posted @ 2022-08-06 16:18 NBI大数据可视化分析 阅读(150) 评论(0) 推荐(0) 编辑
摘要: (1)通过FlinkSQL将数据写入mysql demo FlinkSQL的出现,极大程度上降低了Flink的编程门槛,更加容易理解和掌握使用。今天将自己的笔记分享出来,希望能帮助在这方面有需要的朋友。 (1)首先引入POM依赖: <properties> <flink.version>1.13.1</flink.version> <scala.binar 阅读全文
posted @ 2022-08-06 16:14 NBI大数据可视化分析 阅读(246) 评论(0) 推荐(0) 编辑