dremio 23.0 版本发布
最近dremio 23 版本发布了(社区版以及下载地址还没提供),一些变动还是比较大的
破坏性变动
- mapr 只支持6.2.0 了,对于mapr 也只支持jdk 11
- dremio 可以直接读取parquet 文件的map 类型,对于包含了map 类型的需要刷新元数据,同时也支持开关可以关闭此特性
已知的问题
- 不支持使用相等删除编写的 Iceberg 表(具体待测试,应该是icerge 对应的特性)
- dml 不支包含map 的列,CTAS 支持
新特性
- map 类型支持
- listagg 方便分组聚合了,具体能力还需要测试
- job profiler 增强,可以快速查找耗时的步骤
- 不在使用的嵌入式的nessie 历史数据,将被清理,以提升性能以及后续升级问题
- iceberg timestap 支持查询
- 宽表支持(以前dremio 有800列的限制,目前来说还有,就是放大了,当然还有不少限制,建议看看官方文档)
- aws 数据源,支持私有url 格式的数据
- icegerg 表支持基于位置删除
- openjdk 8 以及11 废弃,推荐使用其他jdk 替代
说明
其他安全升级以及bug 修复也不少,等待新版本的发布
参考资料
https://docs.dremio.com/software/release-notes/230-release/
https://docs.dremio.com/software/sql-reference/sql-functions/functions/LISTAGG/
https://docs.dremio.com/software/sql-reference/sql-commands/apache-iceberg-tables/apache-iceberg-select/
https://docs.dremio.com/software/data-sources/wide-tables/
https://iceberg.apache.org/spec/#position-delete-files
https://iceberg.apache.org/spec/#equality-delete-files