Yarn提交Flink任务参数介绍
一、参数介绍
作业模式：yarn-per-job
| 基本参数 | 描述 |
| -ynm(Custom Yarnname) | 自定义的Yarn名字 |
| -yqu | 指定Yarn队列名 |
| -yn (TaskManager) | Flink的TaskManager数目,Flink引擎运行需要由一个JobManager以及若干个TaskManager构成 |
| -ys(Slot) | 该参数为单个TaskManager所拥有的槽位数 |
| -yjm(JobManager Memory) | 该参数为分配给Jobmanager的堆内存资源,不需要太大 |
| -ytm(TaskManager Memory) | 分配给单个TaskManager的堆内存资源 |
| -p | 并行度 |
| -yst(Yarnstreaming) | 启动Yarn的流式 |
| -yid | 指定任务运行在哪个YarnSession之上 |
| -yj(Yarnjar) | Flink的jar包路径 |
| -yq(Yarnquery) | 显示Yarn的资源情况 |
| -yz(Yarn Zookeeper Namespace) | 在Zookeeper创建一个命名空间 |
| -yd | 使用Detached模式进行部署,可以运行任务后无需再控制台保持连接 |
| -c | 指定jar包中class全名 |
| 高级参数 | 描述 |
| -Dtaskmanager.memory.jvm-overhead.max=2048m | 为其它jvm开销保留的本机内存 |
| -Dtaskmanager.memory.jvm-overhead.min=192m | 为其它jvm开销保留的本机内存 |
| -Dtaskmanager.memory.managed.fraction=0.4 | 由flink管理的本地内存 |
| -Dexecution.checkpointing.tolerable-failed-checkpoints=3 | checkpoint容忍失败次数 |
二、Flink服务器con日志获取
1、日志路径
进入对应flink执行节点
/apps/yarn/container-logs/application_1624482781367_19613/container_e34_1624482781367_19613_01_000002
