dremio 24.1 zstd 支持的的处理
以前我简单介绍过关于dremio 如何自己编译支持zstd 压缩,目前官方24.1 直接支持了,通过查看源码
实际上处理思路以及方法与我介绍的是一致的,具体可以参考我写过的博客
一些差异
- dremio 自己编译了hadoop lib 库
- dremio 支持了level 配置
参考资料
https://www.cnblogs.com/rongfengliang/p/16823130.html
https://docs.dremio.com/software/data-formats/parquet-files/#parquet-file-compression
https://facebook.github.io/zstd/