flink 提交yarn 命令 flink run -m yarn-cluster
文章目录
- Flink集群搭建和使用
- local 本地测试
- flink集群搭建
- 1、standallone cluster
- 提交任务 -- 将代码打包
- 2.flink on yarn 只需要部署一个节点
- flink启动方式
- 1、yarn-session
- 2、直接提交任务到yarn
Flink集群搭建和使用
local 本地测试
idea运行
idea上运行
flink集群搭建
1、standallone cluster
提交任务 – 将代码打包
1、在web页面提交任务
传完了可以点击包名,输入类名(Entry Class),后面那个Paralleism是设置并行度的,其它不用管,然后点击submit即可
2、web提交和flink命令提交任务一样,在shell里输入下面命令
3、rpc方式提交任务(远程命令提交,直接在idea里打包idea里运行)
2.flink on yarn 只需要部署一个节点
1、配置HADOOP_CONF_DIR
2、将hadoop依赖jar包上传到flink lib目录
flink和spark一样都是粗粒度资源申请
flink启动方式
1、yarn-session
在yarn里面启动一个flink集群 jobManager先启动hadoop
和standalone提交过程差不多,不多赘述
模拟消息队列输入单词,web界面查看
RPC模式结果
2、直接提交任务到yarn
直接提交到yarn不会生成端口号,通过master:8088界面查看任务,点击后面的ApplactionMaster跳转到Flink界面
每一个任务都会有一个jobManager
yarn-session先在yarn中启动一个jobMansager ,所有的任务共享一个jobmanager(提交任务更快,任务之间共享jobmanager , 相互有影响) 直接提交任务模型,为每一个任务启动一个joibmanager(每一个任务独立jobmanager , 任务运行稳定)
原文链接:https://blog.51cto.com/u_13416/7386870