怎么确定一个Flink job的资源
怎么确定一个Flink job的资源
Slots && parallelism
一个算子的parallelism 是5 ，那么这个算子就需要5个slot，
公式 ：一个算子的parallelism 是n ，那么这个算子就需要5个n
通俗理解：几个并行度，就是有几个线程处理。
如何计算Slot
如果不设置SlotSharingGroup，那么需要的Slot数为应用的最大并行度数。
设置slot就是设置线程数。
设置parallelism 的依据是什么？
一个算子到底设置几个（parallelism）线程执行呢？
solt 是用来对taskmanager内存进行平均分配的，每个solt内存都相同，也就是每一个并行度的内存是一样的。
如果一个算子需要的内存多，就多设置几个并行度。
如果一个算子需要的内存少，就少设置几个并行度，省下来的slot让给别人。因为slot是可以共享的。
怎么给一个任务分配 slot和内存?
假设有以下条件
- 集群
假设一个flink session 的一个slot 是2G内存.(如下脚本)
- 任务
你有50G的数据要处理
分配多少slot和内存是测试出来的,看哪个配置速率更快,以达到资源的合理利用.
假设 准备给他20G内存.
那么就是 20/2(一个slot 是2G内存) = 10 slot
于是就是slot 10 个, 内存是20g. parallelism 是10
脚本
/data/flink-1.10.1/bin/flink run \
-yid $application_id \
-yD env.java.opts="-XX:+UseG1GC" \
-c xxxxx.mainClass \
/data/hadoop/data/xxxxx.jar
启动yarn-session 脚本
#!/bin/bash
/data/flink-1.10.1/bin/yarn-session.sh \
-s 4 \
-jm 1g \
-tm 8g \
-d \
-ynm yarn-flink
一个taskmanager 8G内存,共4个slot 那么,一个slot就是2G内存.
