随笔分类 -  Flink sql

摘要:1.在“项目管理”>>"工作流定义" 里边创建工作流 2.选择flink_stream 3.选择安装flink服务的节点worker分组 程序类型选择 sql 4.在“脚本” 编写框输入 flink-sql主代码 5.选择flink版本,指定任务名称,配置资源参数 最后点击确认保存 6.在任务定义> 阅读全文
posted @ 2024-04-25 14:05 whiteY 阅读(1718) 评论(0) 推荐(0) 编辑
摘要:水位线 Watermark 实时统计使用了flink sql程序,使用flink-TVF表值函数滚动窗口按分钟进行数据聚合操作,消费的kafka数据需要在规定的时间窗口内进行推送数据并消费计算, 为了解决处理乱序事件或延迟数据引入了Watermark,用来设置延迟计算时间等待迟到的数据,但不能无限期 阅读全文
posted @ 2024-03-08 10:12 whiteY 阅读(172) 评论(0) 推荐(0) 编辑
摘要:README.md # how to use # 使用说明 ## 确认是否初始化完成, 当前yarn-session管理所有 《用户属性任务》 ## 任务名称为: bus_user_info_flinkjob path=`pwd` 00. 确认是否已经存在yarn session `shell ya 阅读全文
posted @ 2023-05-10 17:22 whiteY 阅读(214) 评论(0) 推荐(0) 编辑
摘要:###1.问题现象: 使用flink sql程序消费kafka数据写入mysql时,使用TVF表值函数,START_ENENT_TIME和END_ENENT_TIME 始终比消费时间小大约13小时。 ####解决办法 在写入mysql 的sink表时 在connector.url加上参数 “&ser 阅读全文
posted @ 2022-12-06 10:51 whiteY 阅读(535) 评论(0) 推荐(0) 编辑
摘要:##-- 定义 source 表 CREATE TABLE source_orgcode_info ( ID BIGINT, ORGANIZATION_NAME varchar(64), ORG_CODE varchar(8), PRIMARY KEY(ID) NOT ENFORCED ) WITH 阅读全文
posted @ 2022-11-30 09:34 whiteY 阅读(1421) 评论(0) 推荐(0) 编辑
摘要:进入flink sql 客户端 /opt/flink/bin/sql-client.sh 查看topic列表 ./bin/kafka-topics.sh --list --zookeeper localhost:2181 设置表格模式 set sql-client.execution.result- 阅读全文
posted @ 2022-10-18 16:50 whiteY 阅读(349) 评论(0) 推荐(0) 编辑
摘要:--参数设置 --设置并行度 set 'parallelism.default' ='5'; --设置执行结果展示模式为tableau set 'sql-client.execution.result-mode' = 'tableau'; reset execution.savepoint.path 阅读全文
posted @ 2022-10-18 16:37 whiteY 阅读(639) 评论(0) 推荐(0) 编辑
摘要:--参数 --并行度设置 set 'parallelism.default' ='2'; --reset execution.savepoint.path; --reset execution.checkpoint.path; --设置队列 set 'yarn.application.queue' 阅读全文
posted @ 2022-10-18 16:31 whiteY 阅读(634) 评论(0) 推荐(0) 编辑
摘要:-- 定义 source 表 drop table IF EXISTS source_applet_kafka; CREATE TABLE IF NOT EXISTS source_applet_kafka (provinceCode String,companyName String,appId 阅读全文
posted @ 2022-10-18 16:21 whiteY 阅读(347) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示