Yarn提交Flink任务参数介绍
一、参数介绍
作业模式:yarn-per-job
基本参数 | 描述 |
-ynm(Custom Yarnname) | 自定义的Yarn名字 |
-yqu | 指定Yarn队列名 |
-yn (TaskManager) | Flink的TaskManager数目,Flink引擎运行需要由一个JobManager以及若干个TaskManager构成 |
-ys(Slot) | 该参数为单个TaskManager所拥有的槽位数 |
-yjm(JobManager Memory) | 该参数为分配给Jobmanager的堆内存资源,不需要太大 |
-ytm(TaskManager Memory) | 分配给单个TaskManager的堆内存资源 |
-p | 并行度 |
-yst(Yarnstreaming) | 启动Yarn的流式 |
-yid | 指定任务运行在哪个YarnSession之上 |
-yj(Yarnjar) | Flink的jar包路径 |
-yq(Yarnquery) | 显示Yarn的资源情况 |
-yz(Yarn Zookeeper Namespace) | 在Zookeeper创建一个命名空间 |
-yd | 使用Detached模式进行部署,可以运行任务后无需再控制台保持连接 |
-c | 指定jar包中class全名 |
高级参数 | 描述 |
-Dtaskmanager.memory.jvm-overhead.max=2048m | 为其它jvm开销保留的本机内存 |
-Dtaskmanager.memory.jvm-overhead.min=192m | 为其它jvm开销保留的本机内存 |
-Dtaskmanager.memory.managed.fraction=0.4 | 由flink管理的本地内存 |
-Dexecution.checkpointing.tolerable-failed-checkpoints=3 | checkpoint容忍失败次数 |
二、Flink服务器con日志获取
1、日志路径
进入对应flink执行节点
/apps/yarn/container-logs/application_1624482781367_19613/container_e34_1624482781367_19613_01_000002