华为云flink使用说明

华为云flink使用说明

准备资源

• 开通kafka集群环境（取决于source算子与Sink算子）
• 开通obs对象存储服务

购买队列

• 进入数据湖探索DLI产品页面
• 点击立即购买按钮
• 选择按需计费
• 专属资源模式必选，否则创建flink jar作业失败
• 后续步骤需要创建跨源连接，前提条件之一就是包年包月或者专属资源模式
  

作业配置

需要配置桶信息，否则在创建flink作业时 OBS桶 选项选择桶信息后还会提示该桶未授权

• 进入数据湖探索DLI控制台
• 选择全局配置，作业配置
• 设置作业相关的桶信息

授权

如果不授权，创建跨源连接会失败，授权时全选即可。

全选后点击更新委托授权即可。

查看授权信息

• 进入控制台，鼠标悬停在用户名上
• 点击统一身份认证
• 进入统一身份认证页面
• 点击左侧委托菜单
• 查看委托权限信息

创建跨源连接

跨源连接用来解决数据湖探索的flink jar作业与flink的源算子与下沉算子网络不通的问题

• 进入数据湖探索DLI控制台
• 进入跨源管理
• 选择增强型跨源
• 点击创建按钮

创建连接

• 弹性资源池选择刚刚购买的队列
• 队列资源可通过资源管理下面的队列管理进行查看，新增，删除等
• 私有云，子网建议与flink的源算子与下沉算子保持一致
• 点击确定即可创建
• 点击连接名称，查看资源的状态，绑定关系，以及创建日志（失败时可以通过日志进行调试等）

测试队列的网络连通性

测试队列连通性需要在创建并绑定跨源连接之后

• 进入DLI控制台
• 选择资源管理下的队列管理菜单
• 在创建的队列的操作列，选择更多，测试地址连通性
• 新开一个标签页
• 打开Kafka控制台
• 点击列表中的名称，选择基本信息
• 复制内网连接地址
• 返回到连通性界面，粘贴其中一个地址，格式：ip:port
• 点击测试，测试连通性

上传jar包

将flink的jar程序上传至obs中

创建flink jar作业

当上面的授权，跨源，连通性都没有问题之后，开始创建作业

• 创建作业

• 填写作业相关信息
  • 类型选择Flink Jar
  • 输入作业名称
  • 添加描述信息，作为以后运维的依据
  • 点击确定，会跳转到具体信息页面

• 选择队列（刚刚创建的队列，确保连通性正常）
• 应用程序选择jar包，需要从对象存储OBS中选择
• 主类选择指定，并填写类名
• 版本选择最新版本
• 选择设置好的OBS桶，运行日志会在该桶中
• 点击右上角保存按钮

运行Flink作业

• 点击启动
• 可通过任务列表查看数据执行情况

监控作业运行情况

可通过任务列表，执行计划，提交日志，运行日志来监控作业执行情况

执行计划的每个算子可以通过点击查看算子详情

访问开源Flink UI界面

通过点击更多，FlinkUI来查看开源Flink的UI界面

欢迎大家留言，以便于后面的人更快解决问题！另外亦欢迎大家可以关注我的微信公众号，方便利用零碎时间互相交流。共勉！