Flink 提交作业方式

1、环境说明

1. 系统环境：centos6.8
2. Java版本：jdk1.8
3. hadoop版本：hadoop2.7.2
4. flink版本：flink-1.13.0-bin-scala_2.12.tgz

本次以独立部署模式演示flink提交作业的2种方式

2、环境准备

安装

[hui@hadoop103 software]$ tar -zxvf flink-1.13.0-bin-scala_2.12.tgz -C /opt/module/
[hui@hadoop103 module]$ mv flink-1.13.0 flink-local

指定 jobManager节点

[hui@hadoop103 conf]$ vim flink-conf.yaml
jobmanager.rpc.address: hadoop103

指定master 节点

[hui@hadoop103 conf]$ less masters 
hadoop103:8081

指定worker节点

[hui@hadoop103 conf]$ less workers 
hadoop104
hadoop105

flink-conf.yaml 一些参数说明

jobmanager.memory.process.size：对JobManager进程可使用到的全部内存进行配置，包括JVM元空间和其他开销，默认为1600M，可以根据集群规模进行适当调整。
taskmanager.memory.process.size：对TaskManager进程可使用到的全部内存进行配置，包括JVM元空间和其他开销，默认为1600M，可以根据集群规模进行适当调整。
taskmanager.numberOfTaskSlots：对每个TaskManager能够分配的Slot数量进行配置，默认为1，可根据TaskManager所在的机器能够提供给Flink的CPU数量决定。所谓Slot就是TaskManager中具体运行一个任务所分配的计算资源。 
parallelism.default：Flink任务执行的默认并行度，优先级低于代码中进行的并行度配置和任务提交时使用参数指定的并行度数量。

分发安装文件

[hui@hadoop103 module]$ sxync.sh flink-local/

3、启动集群

[hui@hadoop103 module]$ flink-local/bin/start-cluster.sh 

查看进程

[hui@hadoop103 flink-local]$ jps.sh
------------------- hui@hadoop103 --------------
5315 Jps
4792 StandaloneSessionClusterEntrypoint
------------------- hui@hadoop104 --------------
4311 TaskManagerRunner
4682 Jps
------------------- hui@hadoop105 --------------
3364 TaskManagerRunner
3486 Jps

访问 web 界面

http://hadoop103:8081/

4、提交作业

方式1：通过web ui 提交作业

第一步：选择本地打好的jar文件

 第二步指定主程序名已经配置信息

 提交完成

 输入单词

[hui@hadoop103 ~]$ nc -lk 9999
hello flink
flink spark

查看运行结果

 取消任务

方式2：通过后台命令 提交作业

[hui@hadoop103 flink-local]$ bin/flink run -m hadoop103:8081 -c org.wdh01.wc.StreamWordCountNoArgs -p 2 flink01-1.0-SNAPSHOT.jar 

这里的参数–m指定了提交到的JobManager，-c指定了入口类。

  此时可以通过nc 工具再次输入数据进行词频统计

 两种提交作业的方式本质是一样的，注意：如果程序需要参数，在提交作业的时候需要指定好参数，由于我的程序是读取的socket数据，需要在提交作业之前需要启动nc。