Flink1.18 & YARN 应用模式部署【推荐】

应用模式：用户代码在JobManger上解析、运行，而不是在客户端上进行

YARN上部署的过程：
客户端把 Flink 应用提交给 Yarn 的 ResourceManager，Yarn 的
ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上，Flink 会部署 JobManager 和 TaskManager 的实例，从而启动集群。Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配 TaskManager 资源。
本文基于 Hadoop-3.3.6分布式集群搭建步骤

1.修改Hadoop环境变量，增加一些

vi /etc/profile.d/hadoop.sh

修改为如下：

export HADOOP_HOME=/usr/hadoop/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`

刷新

source /etc/profile

2.启动Hadoop集群

1.在hadoop02节点启动HDFS

sbin/start-dfs.sh

2.在配置了ResourceManager的节点(hadoop03)启动YARN

位于$HADOOP_HOME/sbin/start-yarn.sh

sbin/start-yarn.sh

3.应用模式部署

1.推送端运行netcat

作业基于此文章打包 Flink Java Demo
因此在提交任务前需要先在推送端运行netcat

nc -lp 7878

2.提交任务

/usr/flink/flink-1.18.0/bin/flink run-application -t yarn-application -c cn.coreqi.WordCountStreamUnboundedDemo /home/FlinkTutorial-1.0-SNAPSHOT.jar

2.*提交任务加速版

YARN的工作机制需要每次将Flink的库和插件以及任务的jar包上传到HDFS
如果我们手动将Flink的库和插件提前上传到HDFS，甚至将任务的jar包也提前上传到HDFS，将会加速任务的执行时间。

1.将Flink的库和插件上传至HDFS

hadoop fs -mkdir /flink-dist
hadoop fs -put /usr/flink/flink-1.18.0/lib /flink-dist
hadoop fs -put /usr/flink/flink-1.18.0/plugins /flink-dist

访问http://192.168.58.130:9870/explorer.html#/ 查看上传结果

2.将任务jar包上传至HDFS

hadoop fs -mkdir /flink-jars
hadoop fs -put /home/FlinkTutorial-1.0-SNAPSHOT.jar /flink-jars

3.提交任务

/usr/flink/flink-1.18.0/bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://192.168.58.130:8020/flink-dist" -c cn.coreqi.WordCountStreamUnboundedDemo hdfs://192.168.58.130:8020/flink-jars/FlinkTutorial-1.0-SNAPSHOT.jar

4.查看或取消作业

# 通过list查找到应用的jobId
/usr/flink/flink-1.18.0/bin/flink list -t yarn-application -Dyarn.application.id=application_1705543347998_0006
# 取消作业
/usr/flink/flink-1.18.0/bin/flink cancel -t yarn-application -Dyarn.application.id=application_1705543347998_0006 <jobId>
/usr/flink/flink-1.18.0/bin/flink cancel -t yarn-application -Dyarn.application.id=application_1705543347998_0006 0cc4bc91f31fbc6fd26189ce5ae242c1

这里的 application_XXXX_YY 是当前应用的 ID，是作业的 ID。注意如果取消作业，整个 Flink 集群也会停掉。

也可以在YARN的管理页面或者Flink WEB UI页面取消作业