dremio vectorized Parquet Reader v2 支持

dremio 从24.3 开始支持parquet v2 writer 同时性能提升还是很明显的

对于读

官方在TPC-DS测试中，最低有22% 左右的，最高97%，平均77% 左右

写入

同样也是TPC-DS 中，存储降低24%左右，写入提升1.5% 左右，如果开启了c3 读性能提升6.4%

开启

  • ui配置（全局）

可以通过support key

  • sql 配置（全局）
 
ALTER SYSTEM SET "store.parquet.writer.version" = 'v2'

说明

目前我小数据量的测试，存储的确减少了一些，但是读可能因为数据比较少，并没有明显的变化，数据量大可能效果比较明显，同时默认的向量化读v2 已经开启了vectorized.read.parquet.v2.encodings=true

参考资料

sabot/kernel/src/main/java/com/dremio/exec/store/parquet/ParquetRecordWriter.java
sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java
https://www.dremio.com/blog/vectorized-reading-of-parquet-v2-improves-performance-up-to-75/

posted on 2024-02-01 11:56  荣锋亮  阅读(5)  评论(0)  编辑  收藏  举报

导航