RICH-ATONE

Flink的部署方式

local模式:适用于本地开发和测试环境,占用的资源较少,部署简单 ,只需要部署JDK和flink即可达到功能开发和测试的目的。只需要一台主机即可。

standalone cluster:可以在测试环境功能验证完毕到版本发布的时候使用,进行性能验证。搭建需要ssh
jdk和flink。至少需要3台主机,一个master两个worker节点。

YARN:flink使用YARN进行调度。

Hadoop Integration:和hadoop生态进行整合,可以借用HDFS、YARN的功能,是用于整个大数据环境都用Hadoop全家桶的环境。

Docker: 在开发测试使用,docker方式很容易搭建。推荐的方式。

kubernetes:由于FLink使用的无状态模式,只需要kubernetes提供计算资源即可。会是Flink以后运行的主流方式,可以起到节约硬件资源和便于管理的效果。

HA模式:
现在主流的方式有standalone cluster HA 和YARN cluster HA方式,适用于在生产上部署。
standalone cluster HA:
需要JDK、ssh、zookeeper HA、flink构建,至少需要三个物理机。

YARN cluster HA:
需要JDK、ssh、zookeeper HA、Hadoop HA、flink,需要更多的资源。

若flink运行于k8s则可以借助于kubernetes的集群提供高可用,充分的利用资源。

当前大部分公司还是将Flink运行在物理机上。

参考:http://www.manongjc.com/article/33154.html

posted on 2020-12-08 22:44  RICH-ATONE  阅读(1250)  评论(0编辑  收藏  举报

导航