rongfengliang-荣锋亮

摘要： 基于data contracts 的数据质量处理似乎是一个很不错的数据开发模式，机制上比较类似微服务开发中的service contracts 我们基于契约对于数据的生产者以及消费者进行约定，确保数据的质量，提高数据团队的协作，同时还有不少工具可以参考 说明 open-data-contract-s 阅读全文

摘要： 以前我介绍过通过自动提升处理format，当然dremio也支持手工操作，对于处理包含了文件以及文件夹类型的，我主要说下 关于文件夹的 处理简单说明 对于ui部分是首先进行预处理，获取可能的类型格式，然后就是通过格式预览服务进行数据处理 folder_format参考处理 代码 包含了一个快速以及默 阅读全文

摘要： dremio对于文件系统支持CTAS （s3，nas，hdfs。。。），以前版本默认创建是是parquet 格式的文件，新版本默认使用iceberg 格式 基于iceberg 的格式很有意思，我们不只可以进行数据的显式物化，同时还可以进行数据的多DML，同时还能复用iceberg 强大的数据管理 能 阅读全文