Flink 1.18 Standalone 会话模式集群搭建
Flink 在Standalone集群模式下不支持单作业模式部署,单作业模式需要借助资源管理平台。
1.Flink角色
- Client:用于提交任务的客户端
- JobManager:调度、分发任务的管理器
- TaskManager:执行任务
2.集群规划
节点服务器 | Hadoop02(192.168.58.130) | Hadoop03(192.168.58.131) | Hadoop04(192.168.58.132) |
---|---|---|---|
角色 | JobManager TaskManager |
TaskManager | TaskManager |
3.初始化
1.下载
https://dlcdn.apache.org/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz
2.解压
mkdir /usr/flink
tar -zxvf /home/flink-1.18.0-bin-scala_2.12.tgz -C /usr/flink/
3.修改集群配置
1.修改Hadoop02(192.168.58.130) flink配置文件
进入conf目录,修改flink-conf.yaml
文件
cd /usr/flink/flink-1.18.0/conf/
vi flink-conf.yaml
# JobManager 节点地址
jobmanager.rpc.address: 192.168.58.130
jobmanager.bind-host: 0.0.0.0
rest.address: 192.168.58.130
rest.bind-address: 0.0.0.0
# Taskmanager节点地址,需要配置为当前机器名
taskmanager.bind-host: 0.0.0.0
taskmanager.host: 192.168.58.130
2.修改Hadoop02(192.168.58.130) flink工作节点配置文件
vi workers
192.168.58.130
192.168.58.131
192.168.58.132
3.修改Hadoop02(192.168.58.130) flink master配置文件
vi masters
192.168.58.130:8081
4.将以上配置向集群其他节点同步,并修改
仅需要修改flink-conf.yaml中的taskmanager.host地址即可
,修改为当前节点的IP地址
4.启动集群
/usr/flink/flink-1.18.0/bin/start-cluster.sh
作者:奇
出处:https://www.cnblogs.com/fanqisoft/p/17969719
版权:本作品采用「本文版权归作者和博客园共有,欢迎转载,但必须给出原文链接,并保留此段声明,否则保留追究法律责任的权利。」许可协议进行许可。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!
2023-01-17 Docker 部署 Grafana
2023-01-17 Docker 部署 Prometheus
2019-01-17 SpringMVC使用HttpInvoker发布远程服务
2019-01-17 SpringMVC使用Burlap发布远程服务
2019-01-17 SpringMVC使用Hession发布远程服务
2019-01-17 Spring使用RMI进行远程方法调用