摘要：
在批处理统计中，我们可以等待一批数据都到齐后，统一处理。但是在实时处理统计中，我们是来一条就得处理一条，那么我们怎么统计最近一段时间内的数据呢？引入“窗口”。 所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。 阅读全文
posted @ 2024-01-24 10:12
SpringCore
阅读(912)
评论(0)
推荐(0)
摘要：
流程如下 Environment(执行环境) -> Source(数据源) -> Transformation(转换操作) -> Sink(输出) 1.Environment(执行环境) package cn.coreqi.env; import org.apache.flink.api.commo 阅读全文
posted @ 2024-01-21 10:20
SpringCore
阅读(1247)
评论(0)
推荐(0)
摘要：
本文基于：Flink Java Demo 1.开发中开启WEB UI 1.添加依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web</artifactId> <version>1.18.0< 阅读全文
posted @ 2024-01-19 21:09
SpringCore
阅读(176)
评论(0)
推荐(1)
摘要：
本文将历史服务器的日志信息保存到Hadoop 的 HDFS上，也可选择保存到本地磁盘上。 1.在HDFS上创建保存日志的文件夹 hadoop fs -mkdir -p /logs/flink-job 2.修改flink配置文件，添加历史服务器相关配置 vi /usr/flink/flink-1.18 阅读全文
posted @ 2024-01-18 17:07
SpringCore
阅读(331)
评论(0)
推荐(0)
摘要：
应用模式：用户代码在JobManger上解析、运行，而不是在客户端上进行 YARN上部署的过程： 客户端把 Flink 应用提交给 Yarn 的 ResourceManager，Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上，Flin 阅读全文
posted @ 2024-01-18 15:42
SpringCore
阅读(1155)
评论(0)
推荐(0)
摘要：
单作业模式：提交作业时才启动Flink集群。不用事先启动，直接flink run即可，注意需要添加-t yarn-per-job参数用于区分。 YARN上部署的过程： 客户端把 Flink 应用提交给 Yarn 的 ResourceManager，Yarn 的 ResourceManager 会向 阅读全文
posted @ 2024-01-18 09:57
SpringCore
阅读(511)
评论(0)
推荐(0)
摘要：
YARN上部署的过程： 客户端把 Flink 应用提交给 Yarn 的 ResourceManager，Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上，Flink 会部署 JobManager 和 TaskManager 的实例，从而 阅读全文
posted @ 2024-01-17 20:58
SpringCore
阅读(294)
评论(0)
推荐(0)
摘要：
本文基于：Flink Java Demo 1.下载 https://dlcdn.apache.org/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz 2.解压 mkdir /usr/flink tar -zxvf /home/flink-1.18 阅读全文
posted @ 2024-01-17 19:25
SpringCore
阅读(410)
评论(0)
推荐(0)
摘要：
1.新建Maven项目 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst 阅读全文
posted @ 2024-01-17 19:09
SpringCore
阅读(353)
评论(0)
推荐(0)
摘要：
本文基于Flink Java Demo 1.WebUI作业提交 2.命令行提交 1.将Maven打包后的jar包上传到集群节点[略] 2.提交作业 /usr/flink/flink-1.18.0/bin/flink run -m 192.168.58.130:8081 -c cn.coreqi.Wo 阅读全文
posted @ 2024-01-17 18:19
SpringCore
阅读(301)
评论(0)
推荐(0)
浙公网安备 33010602011771号