dremio 23.0 版本发布

最近dremio 23 版本发布了（社区版以及下载地址还没提供），一些变动还是比较大的

破坏性变动

• mapr 只支持6.2.0 了，对于mapr 也只支持jdk 11
• dremio 可以直接读取parquet 文件的map 类型，对于包含了map 类型的需要刷新元数据，同时也支持开关可以关闭此特性

已知的问题

• 不支持使用相等删除编写的 Iceberg 表（具体待测试,应该是icerge 对应的特性）
• dml 不支包含map 的列，CTAS 支持

新特性

• map 类型支持
• listagg 方便分组聚合了，具体能力还需要测试
• job profiler 增强，可以快速查找耗时的步骤
• 不在使用的嵌入式的nessie 历史数据，将被清理，以提升性能以及后续升级问题
• iceberg timestap 支持查询
• 宽表支持（以前dremio 有800列的限制，目前来说还有，就是放大了，当然还有不少限制，建议看看官方文档）
• aws 数据源，支持私有url 格式的数据
• icegerg 表支持基于位置删除
• openjdk 8 以及11 废弃，推荐使用其他jdk 替代

说明

其他安全升级以及bug 修复也不少，等待新版本的发布

参考资料

https://docs.dremio.com/software/release-notes/230-release/
https://docs.dremio.com/software/sql-reference/sql-functions/functions/LISTAGG/
https://docs.dremio.com/software/sql-reference/sql-commands/apache-iceberg-tables/apache-iceberg-select/
https://docs.dremio.com/software/data-sources/wide-tables/
https://iceberg.apache.org/spec/#position-delete-files
https://iceberg.apache.org/spec/#equality-delete-files