Flink 1.18 Standalone 会话模式集群搭建
Flink 在Standalone集群模式下不支持单作业模式部署,单作业模式需要借助资源管理平台。
1.Flink角色
- Client:用于提交任务的客户端
- JobManager:调度、分发任务的管理器
- TaskManager:执行任务
2.集群规划
节点服务器 | Hadoop02(192.168.58.130) | Hadoop03(192.168.58.131) | Hadoop04(192.168.58.132) |
---|---|---|---|
角色 | JobManager TaskManager |
TaskManager | TaskManager |
3.初始化
1.下载
https://dlcdn.apache.org/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz
2.解压
mkdir /usr/flink
tar -zxvf /home/flink-1.18.0-bin-scala_2.12.tgz -C /usr/flink/
3.修改集群配置
1.修改Hadoop02(192.168.58.130) flink配置文件
进入conf目录,修改flink-conf.yaml
文件
cd /usr/flink/flink-1.18.0/conf/
vi flink-conf.yaml
# JobManager 节点地址
jobmanager.rpc.address: 192.168.58.130
jobmanager.bind-host: 0.0.0.0
rest.address: 192.168.58.130
rest.bind-address: 0.0.0.0
# Taskmanager节点地址,需要配置为当前机器名
taskmanager.bind-host: 0.0.0.0
taskmanager.host: 192.168.58.130
2.修改Hadoop02(192.168.58.130) flink工作节点配置文件
vi workers
192.168.58.130
192.168.58.131
192.168.58.132
3.修改Hadoop02(192.168.58.130) flink master配置文件
vi masters
192.168.58.130:8081
4.将以上配置向集群其他节点同步,并修改
仅需要修改flink-conf.yaml中的taskmanager.host地址即可
,修改为当前节点的IP地址
4.启动集群
/usr/flink/flink-1.18.0/bin/start-cluster.sh