2022年8月3日

dremio 默认parquet 文件存储的一些定义参数

摘要： 实际上官方文档对于parquet 的定义已经有一些说明了，以下结合源码验证下 参考配置 参考配置参数sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java block size 默认是256m String PARQUET_BLOC 阅读全文

posted @ 2022-08-03 21:50 荣锋亮 阅读(68) 评论(0) 推荐(0) 编辑

dremio 对于parquet 文件的一些要求以及优化处理

摘要： dremio 比较依赖parquet 存储格式，同时对于parquet 的处理进行了不少的优化 读parquet 文件 3.1.3 提供了支持非堆内存的操作，3.2 增强了对于云parquet reader 的处理 parquet 的一些限制 多结构嵌套的支持限制到16 数组最大元素个数限制为128 阅读全文

posted @ 2022-08-03 20:58 荣锋亮 阅读(104) 评论(0) 推荐(0) 编辑

导航