2022年1月20日

基于dremio 开发一个简单的反向ETL

摘要： 反向ETL 目前是一个和不错的领域，以下是自己基于一些工具集成参考构思的一个反向ETL 设计方案，具体编码还在规划中以下简单介绍下一些思路 参考图 简单说明 核心是利用了dremio 数据反射以及CTAS 能力（也支持drop），对于数据使用了快照的处理，直接存储在s3中，格式使用了基于时间分区的格 阅读全文

posted @ 2022-01-20 23:36 荣锋亮 阅读(182) 评论(0) 推荐(0) 编辑

dremio 20 版本可以下载体验了

摘要： 就在1.18 号官方终于发布了20 版本的社区版（19.3 也提供了）大家可以体验了 docker-compose 运行 version: '3' services: dremio: image: dremio/dremio-oss:20.0.0 ports: - "9047:9047" - "31 阅读全文

posted @ 2022-01-20 00:17 荣锋亮 阅读(121) 评论(0) 推荐(0) 编辑

导航