dremio 24.1 zstd 支持的的处理

以前我简单介绍过关于dremio 如何自己编译支持zstd 压缩,目前官方24.1 直接支持了,通过查看源码
实际上处理思路以及方法与我介绍的是一致的,具体可以参考我写过的博客

一些差异

  • dremio 自己编译了hadoop lib 库
  • dremio 支持了level 配置

参考资料

https://www.cnblogs.com/rongfengliang/p/16823130.html
https://docs.dremio.com/software/data-formats/parquet-files/#parquet-file-compression
https://facebook.github.io/zstd/

posted on 2023-06-18 12:56  荣锋亮  阅读(11)  评论(0编辑  收藏  举报

导航