Flink 1.18 Standalone 会话模式集群搭建

Flink 在Standalone集群模式下不支持单作业模式部署,单作业模式需要借助资源管理平台。

1.Flink角色

  • Client:用于提交任务的客户端
  • JobManager:调度、分发任务的管理器
  • TaskManager:执行任务

2.集群规划

节点服务器 Hadoop02(192.168.58.130) Hadoop03(192.168.58.131) Hadoop04(192.168.58.132)
角色 JobManager
TaskManager
TaskManager TaskManager

3.初始化

1.下载

https://dlcdn.apache.org/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz

2.解压

mkdir /usr/flink
tar -zxvf /home/flink-1.18.0-bin-scala_2.12.tgz -C /usr/flink/

3.修改集群配置

1.修改Hadoop02(192.168.58.130) flink配置文件

进入conf目录,修改flink-conf.yaml文件

cd /usr/flink/flink-1.18.0/conf/
vi flink-conf.yaml
# JobManager 节点地址
jobmanager.rpc.address: 192.168.58.130
jobmanager.bind-host: 0.0.0.0
rest.address: 192.168.58.130
rest.bind-address: 0.0.0.0
# Taskmanager节点地址,需要配置为当前机器名
taskmanager.bind-host: 0.0.0.0
taskmanager.host: 192.168.58.130
2.修改Hadoop02(192.168.58.130) flink工作节点配置文件
vi workers
192.168.58.130
192.168.58.131
192.168.58.132
vi masters
192.168.58.130:8081
4.将以上配置向集群其他节点同步,并修改

仅需要修改flink-conf.yaml中的taskmanager.host地址即可,修改为当前节点的IP地址

4.启动集群

/usr/flink/flink-1.18.0/bin/start-cluster.sh

访问:http://192.168.58.130:8081/#/overview

作者:奇

出处:https://www.cnblogs.com/fanqisoft/p/17969719

版权:本作品采用「本文版权归作者和博客园共有,欢迎转载,但必须给出原文链接,并保留此段声明,否则保留追究法律责任的权利。」许可协议进行许可。

posted @   SpringCore  阅读(617)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!
历史上的今天:
2023-01-17 Docker 部署 Grafana
2023-01-17 Docker 部署 Prometheus
2019-01-17 SpringMVC使用HttpInvoker发布远程服务
2019-01-17 SpringMVC使用Burlap发布远程服务
2019-01-17 SpringMVC使用Hession发布远程服务
2019-01-17 Spring使用RMI进行远程方法调用
more_horiz
keyboard_arrow_up light_mode palette
选择主题
点击右上角即可分享
微信分享提示