摘要: Flink自带Exactly Once语义,对于支持事务的存储,可以做到数据的不重不丢。 当使用Flink来写hdfs的时候,因为hdfs文件只能在末尾进行append,如果要做到数据不重不丢,hdfs在2.7.0及其以上的版本中提供了truncate功能,可以根据valid-length长度对hd 阅读全文
posted @ 2016-04-01 19:59 tonglin0325 阅读(793) 评论(0) 推荐(0) 编辑
摘要: kafka connect是kafka提供的一个用于在kafka和其他数据系统之间传输数据的工具 https://kafka.apache.org/documentation/#connect 1.Kafka Connect组件 https://docs.confluent.io/platform/ 阅读全文
posted @ 2016-04-01 14:36 tonglin0325 阅读(404) 评论(0) 推荐(0) 编辑
摘要: schema registry是confluent公司开发的一个集中式管理和验证kafka消息schema的组件。官方网站如下 https://docs.confluent.io/platform/current/schema-registry/index.html 其支持3种格式的schema:J 阅读全文
posted @ 2016-04-01 11:39 tonglin0325 阅读(383) 评论(0) 推荐(0) 编辑
摘要: spring-boot-configuration-processor的作用是生成配置的元数据信息,即META-INF目录下的spring-configuration-metadata.json文件,从而告诉spring这个jar包中有哪些自定义的配置 1.其中spring-configuratio 阅读全文
posted @ 2016-04-01 10:50 tonglin0325 阅读(4657) 评论(0) 推荐(0) 编辑