Flink学习笔记——统一的source服务
为了方便使用Flink对流式数据进行统一的读写,需要开发统一的source服务
1. kafka source
需要可配置的参数,参考flume的kafka source配置参数
https://flume.apache.org/FlumeUserGuide.html#kafka-source
定义KafkaSourceConstants,参考:
https://github.com/apache/flume/blob/trunk/flume-ng-sources/flume-kafka-source/src/main/java/org/apache/flume/source/kafka/KafkaSourceConstants.java
比如对于kafka source相关的配置,统一的前缀为 kafka.source.,比如
# kafka source kafka.source.bootstrap.servers=localhost:9092 kafka.source.topics=thrift_log_test kafka.source.group.id=test
参考文章:Flink学习笔记——配置,对kafka source前缀的配置进行读取
本文只发表于博客园和tonglin0325的博客,作者:tonglin0325,转载请注明原文链接:https://www.cnblogs.com/tonglin0325/p/5503720.html