Flink 1.18 Standalone 会话模式集群搭建

Flink 在Standalone集群模式下不支持单作业模式部署,单作业模式需要借助资源管理平台。

1.Flink角色

  • Client:用于提交任务的客户端
  • JobManager:调度、分发任务的管理器
  • TaskManager:执行任务

2.集群规划

节点服务器 Hadoop02(192.168.58.130) Hadoop03(192.168.58.131) Hadoop04(192.168.58.132)
角色 JobManager
TaskManager
TaskManager TaskManager

3.初始化

1.下载

https://dlcdn.apache.org/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz

2.解压

mkdir /usr/flink
tar -zxvf /home/flink-1.18.0-bin-scala_2.12.tgz -C /usr/flink/

3.修改集群配置

1.修改Hadoop02(192.168.58.130) flink配置文件

进入conf目录,修改flink-conf.yaml文件

cd /usr/flink/flink-1.18.0/conf/
vi flink-conf.yaml
# JobManager 节点地址
jobmanager.rpc.address: 192.168.58.130
jobmanager.bind-host: 0.0.0.0
rest.address: 192.168.58.130
rest.bind-address: 0.0.0.0
# Taskmanager节点地址,需要配置为当前机器名
taskmanager.bind-host: 0.0.0.0
taskmanager.host: 192.168.58.130
2.修改Hadoop02(192.168.58.130) flink工作节点配置文件
vi workers
192.168.58.130
192.168.58.131
192.168.58.132
vi masters
192.168.58.130:8081
4.将以上配置向集群其他节点同步,并修改

仅需要修改flink-conf.yaml中的taskmanager.host地址即可,修改为当前节点的IP地址

4.启动集群

/usr/flink/flink-1.18.0/bin/start-cluster.sh

访问:http://192.168.58.130:8081/#/overview

posted @ 2024-01-17 11:57  SpringCore  阅读(394)  评论(0编辑  收藏  举报