|NO.Z.00003|——————————|BigDataEnd|——|Hadoop&Flink.V03|——|Flink.v03|核心组成|生态发展|

一、Flink 核心组成及生态发展

### --- Flink核心组成

~~~     # Deploy层：
~~~     可以启动单个JVM，让Flink以Local模式运行
~~~     Flink也可以以Standalone 集群模式运行，同时也支持Flink ON YARN，
~~~     Flink应用直接提交到YARN上面运行
~~~     Flink还可以运行在GCE（谷歌云服务）和EC2（亚马逊云服务）

~~~     # Core层（Runtime）：
~~~     在Runtime之上提供了两套核心的API，DataStream API（流处理）和DataSet API（批处理）

~~~     # APIs & Libraries层：
~~~     核心API之上又扩展了一些高阶的库和API
~~~     CEP流处理
~~~     Table API和SQL
~~~     Flink ML机器学习库
~~~     Gelly图计算

### --- Flink生态发展

~~~     中间部分主要内容在上面Flink核心组成中已经提到输入Connectors（左侧部分）

~~~     # 流处理方式：
~~~     包含Kafka（消息队列）、AWS kinesis（实时数据流服务）、
~~~     RabbitMQ（消息队列）、NIFI（数据管道）、Twitter（API）

~~~     # 批处理方式：
~~~     包含HDFS（分布式文件系统）、HBase（分布式列式数据库）、Amazon S3（文件系统）、
~~~     MapR FS（文件系统）、ALLuxio（基于内存分布式文件系统）输出Connectors（右侧部分）

~~~     # 流处理方式：
~~~     包含Kafka（消息队列）、AWS kinesis（实时数据流服务）、RabbitMQ（消息队列）、
~~~     NIFI（数据管道）、Cassandra（NOSQL数据库）、ElasticSearch（全文检索）、
~~~     HDFSrolling file（滚动文件）

~~~     # 批处理方式：
~~~     包含HBase（分布式列式数据库）、HDFS（分布式文件系统）

---

 

 

 

 

 

 

 

 

 

---

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart

                                                                                                                                                   ——W.S.Landor

---