Flink-状态管理
摘要：
流式计算分为无状态和有状态两种情况。 无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在温度超过 90 度时发出警告。 有状态的计算则会基于多个事件输出结果。以下是一些例子。 所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态的计算。 所 阅读全文
posted @ 2022-09-05 22:02 嘣嘣嚓 阅读(93) 评论(0) 推荐(0) 编辑
Flink-窗口起始时间确定规则、闭窗时间计算规则
摘要：
窗口何时开始 看下 TumblingEventTimeWindows 这个类 @Override public Collection<TimeWindow> assignWindows( Object element, long timestamp, WindowAssignerContext co 阅读全文
posted @ 2022-08-18 16:14 嘣嘣嚓 阅读(682) 评论(0) 推荐(0) 编辑
Docker-部署MySQL
摘要：
Docker-MySQL 使用官方镜像快速启动一个MySQL Server实例（MySQL8） 如下 FengZhen$ docker run --name mysql -e MYSQL_ROOT_PASSWORD=123456 -p 53306:3306 -d mysql:latest 906b4 阅读全文
posted @ 2022-07-29 15:30 嘣嘣嚓 阅读(51) 评论(0) 推荐(0) 编辑
Docker-部署MongoDB
摘要：
MongoDB 拉取镜像 FengZhen docker run -it --name mongo -d mongo:latest 2c74df8288bf128657cee59e3433c27b541f93570ec081b1bc 阅读全文
posted @ 2022-07-29 15:28 嘣嘣嚓 阅读(647) 评论(0) 推荐(0) 编辑
Docker-部署Springcloud应用
摘要：
部署eureka注册中心 部署eureka 注册中心。因为springboot自带Tomcat，所以直接打jar包，直接java -jar ....jar 准备一个centos6带有jdk的容器 docker pull centos:6 docker run -it --name centos_mi 阅读全文
posted @ 2022-07-29 15:25 嘣嘣嚓 阅读(300) 评论(0) 推荐(0) 编辑
Flink-时间语义与Watermark
摘要：
1.时间语义 Event Time：是事件创建的时间。它通常由事件中的时间戳述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。 Ingestion Time：是数据进入 Flink 的时间。 Processing Time：是每一个执行基于时间操 阅读全文
posted @ 2022-07-26 22:15 嘣嘣嚓 阅读(266) 评论(0) 推荐(0) 编辑
Flink-窗口函数(Window)
摘要：
1.Window概念 streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而 window 是一种切割无限数据为有限块进行处理的手段。 Window 是无限数据流处理的核心，Window 将一个无限的 stream 拆分成有限大 阅读全文
posted @ 2022-07-19 22:45 嘣嘣嚓 阅读(628) 评论(0) 推荐(0) 编辑
Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to 'ProcessingTime', or did you forget to call 'DataStream.assignTimestampsAndWatermarks(...)
摘要：
问题： Caused by: java.lang.RuntimeException: Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to 'ProcessingT 阅读全文
posted @ 2022-07-19 22:29 嘣嘣嚓 阅读(982) 评论(0) 推荐(0) 编辑
Flink-Sink(Kafka、Redis、ES、JDBC)
摘要：
Flink 没有类似于 spark 中 foreach 方法，让用户进行迭代的操作。虽有对外的输出操作都要利用 Sink 完成。最后通过类似如下方式完成整个任务最终输出操作。 stream.addSink(new MySink(xxxx)) 官方提供了一部分的框架的 sink。除此以外，需要用户自定 阅读全文
posted @ 2022-07-01 14:46 嘣嘣嚓 阅读(330) 评论(0) 推荐(0) 编辑
Flink-富函数(Rich Functions)
摘要：
4.富函数（Rich Functions） 4.1 函数类（Function Classes） Flink 暴露了所有 udf 函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction, ProcessFunction 等等。 下面例子实现了 FilterF 阅读全文
posted @ 2022-06-08 22:30 嘣嘣嚓 阅读(1271) 评论(0) 推荐(0) 编辑
