启动flink sql 任务
README.md
# how to use # 使用说明 ## 确认是否初始化完成, 当前yarn-session管理所有 《用户属性任务》 ## 任务名称为: bus_user_info_flinkjob path=`pwd` 00. 确认是否已经存在yarn session `shell yarn app -list |grep app_log_2_hudi_flinkJob ` 1. 若未运行yarn session 应该执行以下命令, 运行yarnsession 创建Application-Name /opt/flink/bin/yarn-session.sh -jm 10G -tm 10G -nm app_log_2_hudi_flinkJob -qu realtime -d 2. 记录当前yarn session , 启动任务时要使用 yarn application --list get 创建的Application-Name :app_log_2_hudi_flinkJob 的 jobid `shell jobid=`yarn app -list |grep bus_user_info_flinkjob |awk -F ' ' '{print $1}'` sed -i "s/applicationID=.*/applicationID=${jobid}/g" /tmp/.yarn-properties-hdfs ` 3. 完成后可以执行任务, 每个任务可以单独提交, 每个任务说明流向及数据源信息(特征) `shell # 任务1.--数据实时入hudi 通过kafka收集数据,运行该程序, 可以将用明细数据, 按天进行分区,存储到 hudi 数据湖中。 /opt/flink/bin/sql-client.sh -f /data/flinkJob/flinksql/app_log/01_kafka2hudi_all.sql --session $jobid # 任务2.-- 登录数据实时统计 入clickhouse 通过kafka收集数据,运行该程序, 可以将用户明细数据, 按天进行分区,存储到 clickhouse 中。 /opt/flink/bin/sql-client.sh -f /data/flinkJob/flinksql/app_log/01_kafka2clickhouse.sql --session $jobid `
使用flink sql客户端
#启动容器yarn session /opt/flink/bin/yarn-session.sh -d #进入客户端 /opt/flink/bin/sql-client.sh
本文来自博客园,作者:whiteY,转载请注明原文链接:https://www.cnblogs.com/whiteY/p/17388604.html
分类:
Flink sql
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
· 上周热点回顾(2.17-2.23)