Flink学习笔记——统一的source服务

为了方便使用Flink对流式数据进行统一的读写,需要开发统一的source服务

1. kafka source

需要可配置的参数,参考flume的kafka source配置参数

https://flume.apache.org/FlumeUserGuide.html#kafka-source

定义KafkaSourceConstants,参考:

https://github.com/apache/flume/blob/trunk/flume-ng-sources/flume-kafka-source/src/main/java/org/apache/flume/source/kafka/KafkaSourceConstants.java

比如对于kafka source相关的配置,统一的前缀为 kafka.source.,比如

# kafka source
kafka.source.bootstrap.servers=localhost:9092
kafka.source.topics=thrift_log_test
kafka.source.group.id=test

参考文章:Flink学习笔记——配置,对kafka source前缀的配置进行读取

 

posted @ 2016-05-17 23:40  tonglin0325  阅读(458)  评论(0编辑  收藏  举报