随笔分类 - Flink sql
摘要:1.在“项目管理”>>"工作流定义" 里边创建工作流 2.选择flink_stream 3.选择安装flink服务的节点worker分组 程序类型选择 sql 4.在“脚本” 编写框输入 flink-sql主代码 5.选择flink版本,指定任务名称,配置资源参数 最后点击确认保存 6.在任务定义>
阅读全文
摘要:水位线 Watermark 实时统计使用了flink sql程序,使用flink-TVF表值函数滚动窗口按分钟进行数据聚合操作,消费的kafka数据需要在规定的时间窗口内进行推送数据并消费计算, 为了解决处理乱序事件或延迟数据引入了Watermark,用来设置延迟计算时间等待迟到的数据,但不能无限期
阅读全文
摘要:README.md # how to use # 使用说明 ## 确认是否初始化完成, 当前yarn-session管理所有 《用户属性任务》 ## 任务名称为: bus_user_info_flinkjob path=`pwd` 00. 确认是否已经存在yarn session `shell ya
阅读全文
摘要:###1.问题现象: 使用flink sql程序消费kafka数据写入mysql时,使用TVF表值函数,START_ENENT_TIME和END_ENENT_TIME 始终比消费时间小大约13小时。 ####解决办法 在写入mysql 的sink表时 在connector.url加上参数 “&ser
阅读全文
摘要:##-- 定义 source 表 CREATE TABLE source_orgcode_info ( ID BIGINT, ORGANIZATION_NAME varchar(64), ORG_CODE varchar(8), PRIMARY KEY(ID) NOT ENFORCED ) WITH
阅读全文
摘要:进入flink sql 客户端 /opt/flink/bin/sql-client.sh 查看topic列表 ./bin/kafka-topics.sh --list --zookeeper localhost:2181 设置表格模式 set sql-client.execution.result-
阅读全文
摘要:--参数设置 --设置并行度 set 'parallelism.default' ='5'; --设置执行结果展示模式为tableau set 'sql-client.execution.result-mode' = 'tableau'; reset execution.savepoint.path
阅读全文
摘要:--参数 --并行度设置 set 'parallelism.default' ='2'; --reset execution.savepoint.path; --reset execution.checkpoint.path; --设置队列 set 'yarn.application.queue'
阅读全文
摘要:-- 定义 source 表 drop table IF EXISTS source_applet_kafka; CREATE TABLE IF NOT EXISTS source_applet_kafka (provinceCode String,companyName String,appId
阅读全文