Flink 历史服务与连接器
History Server(历史服务)
-
Flink提供了记录历史任务运行情况的服务,可用于在关闭Flink群集后依然能够查询已完成作业的相关信息。
-
配置:
# 任务执行信息存储在hdfs目录 jobmanager.archive.fs.dir: hdfs:///completed-jobs # history serever服务读取历史任务信息的目录 historyserver.archive.fs.dir: hdfs:///completed-jobs # history serever服务每隔多久到历史任务目录中轮询查看 historyserver.archive.fs.refresh-interval: 10000
-
配置完后, 选择一台机器, 启动 history server服务:
bin/historyserver.sh start
-
访问历史服务器 8082端口
Connector(连接器)
-
介绍
-
link Flink内置了一些基本数据源(source)和接收器(sink)。
-
除此之外它还提供了其他的连接器用于与各种第三方系统进行连接。
-
目前支持如下系统的连接:
- Apache kafka (source/sink)
- ElasticSearch (sink)
- Hadoop FileSystem (sink)
- RabbitMQ (source/sink)
- Apache NiFi (source/sink)
- Apache Cassandra (sink)
- Apache Kinesis Streams (source/sink)
- Twitter Streaming API (source)
-
在这些连接器中,当启动了Flink的容错机制之后,它分别能够保证不同的语义(at least once 和 exactly once)。
-
当连接器是 source 的时候
-
当连接器是 sink 的时候
-