摘要:
Flink自带Exactly Once语义,对于支持事务的存储,可以做到数据的不重不丢。 当使用Flink来写hdfs的时候,因为hdfs文件只能在末尾进行append,如果要做到数据不重不丢,hdfs在2.7.0及其以上的版本中提供了truncate功能,可以根据valid-length长度对hd 阅读全文
摘要:
kafka connect是kafka提供的一个用于在kafka和其他数据系统之间传输数据的工具 https://kafka.apache.org/documentation/#connect 1.Kafka Connect组件 https://docs.confluent.io/platform/ 阅读全文
摘要:
schema registry是confluent公司开发的一个集中式管理和验证kafka消息schema的组件。官方网站如下 https://docs.confluent.io/platform/current/schema-registry/index.html 其支持3种格式的schema:J 阅读全文
摘要:
spring-boot-configuration-processor的作用是生成配置的元数据信息,即META-INF目录下的spring-configuration-metadata.json文件,从而告诉spring这个jar包中有哪些自定义的配置 1.其中spring-configuratio 阅读全文