04-Flink 部署

https://flink.apache.org/downloads.html

左侧 Downloads   Binaries，1.14.2，.tgz包，300M+大小

yarn模式需要hadoop支持，在Additional Components下面下载

解压 tar -zxvf flink-1.14.2-bin-scala_2.12.tgz

最主要的三个目录：

bin ：shell脚本文件

     start-cluster.sh ：执行后产生一个StandaloneSessionClusterEntrypoint和一个TaskManagerRunner

     stop-cluster.sh   

     jobmanager.sh   

     taskmanager.sh 

     特别的：flink文件（没有.sh）

conf：yml配置文件

   flink-conf.yaml

       jobmanager.rpc.address: localhost    配置jobmanager

       jobmanager.rpc.port: 6123

       ......

       rest.port: 8081

       rest.address: localhost

   masters:配置jobmanager

   slaves:配置taskmanager，每行一个

lib：可用的库包，比如hadoop包

ps：多次执行start-cluster.sh会发生什么？(执行jps看)

会多启动一个TaskManagerRunnner

按照Resource Providers维度，部署模式可以分为Standalone,Kubernetes,Yarn三种

Standalone 模式

执行 ./start-cluster.sh 默认会启动一个standalonesession daemon和一个taskexecutor daemon

执行 jps 查看可以看到一个TaskManagerRunner和一个StandaloneSessionClusterEntrypoint

访问 localhost:8081，可以看到web页面

并行度优先级：代码中setParallelism(n)>提交job时候的设置的parallelism>flink-conf.yaml中parallelism.default设置的值

注意slot和task任务数的配置，可能存在任务提交失败的情况（slot资源不够）

命令行方式：   

./flink run -c   <mainClass> -p 3  <jarPath> --host localhost --port 7777

./flink cancel <jobId>

./flink list -a

Yarn

Flink需要hadoop支持

Sesson Cluster

Per Job Cluster

Native Kubernetes

每种模式下的任务运行模式又可以分为三种：Application,Per-Job,Session