lakefs 周边生态集成
lakefs 集成的周边还是很多的,核心还是利用了s3 的特性,核心主要玩法以下
- 直接利用s3特性
比如delta lake,spark,airbyte,kafka,dremio - 基于hdfs
使用s3a扩展进行hdfs集成 - hive 元数据集成
实际上还是s3 的特性,只是基于git 的特性扩展了hive 的使用,lakefs 还专门提供了相关的metadata 命令
lakefs 集成模式
参考资料
https://docs.lakefs.io/integrations/glue_hive_metastore.html
https://docs.lakefs.io/integrations/