dremio 默认parquet 文件存储的一些定义参数
实际上官方文档对于parquet 的定义已经有一些说明了,以下结合源码验证下
参考配置
参考配置参数sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java
- block size
默认是256m
String PARQUET_BLOCK_SIZE = "store.parquet.block-size";
LongValidator PARQUET_BLOCK_SIZE_VALIDATOR = new LongValidator(PARQUET_BLOCK_SIZE, 256*1024*1024);
- page size
100k
String PARQUET_PAGE_SIZE = "store.parquet.page-size";
LongValidator PARQUET_PAGE_SIZE_VALIDATOR = new LongValidator(PARQUET_PAGE_SIZE, 100000);
- footer 大小
16m
String PARQUET_MAX_FOOTER_LEN = "store.parquet.max_footer_length";
LongValidator PARQUET_MAX_FOOTER_LEN_VALIDATOR = new LongValidator(PARQUET_MAX_FOOTER_LEN, 16*1024*1024);
- 压缩
EnumeratedStringValidator PARQUET_WRITER_COMPRESSION_TYPE_VALIDATOR = new EnumeratedStringValidator(
PARQUET_WRITER_COMPRESSION_TYPE, "snappy", "snappy", "gzip", "none");
- 内存限制
512m
String PARQUET_MEMORY_THRESHOLD = "store.parquet.memory_threshold";
LongValidator PARQUET_MEMORY_THRESHOLD_VALIDATOR = new LongValidator(PARQUET_MEMORY_THRESHOLD, 512*1024*1024);
说明
以上是结合常量的一些配置参数,实际上 sabot/kernel/src/main/java/com/dremio/exec/store/parquet/ParquetRecordWriter.java 中也包含了不少,可以参考对比
参考资料
https://docs.dremio.com/software/data-formats/parquet-files/