Databend 开源周报 #68
Databend 是一款强大的云数仓。专为弹性和高效设计，自由且开源。
即刻体验云服务：https://app.databend.com。
New Features
metrics
- 添加关于查询详情的统计指标 (#8800)
multiple catalog
- 实现 multiple catalog 相关配置 (#8743)
query
-
在读数据块时调整最大 io 请求，以避免 OOM (#8726)
-
将 "PrecommitBlock" 的序列化/反序列化工具从 "serde_json" 变更为 "bincode" (#8726)
-
支持 parallel final aggregator，在部分场景带来 4X 性能提升! (#8577)
-
分布式查询结果并行合并 (#8811)
storage
-
在分布式剪枝过程中对数据段进行编排 (#8793)
-
为 Partitions 增加编排策略 (#8814)
new expression
- 为比较相关表达式添加计算域 (#8754)
Code Refactor
io
- 使用 "Cursor" 替换 "NestedCheckpointReader" (#8716)
handler
- 使用 "FieldEncoder" 编码数据 (#8733)
format
- 使用 "FieldEncoder" 重构(#8778)
query
- 统一哈希表接口 (#8681)
storage
- compact block 的全新实现 (#8679)
new expression
-
优化 domain (#8755)
-
允许 chunk 中使用稀疏列 id (#8789)
Bug Fix
handler
- 修正 databend 类型到 mysql 类型的对应关系 (#8745)
functions
- "l_col like r_col" 将会根据 "r_col" 生成哈希表，如果 "r_col" 很大，可能导致 OOM (#8737)
News
Datafuse Labs / Databend 本周新动态！
Shuffle Policy for Partitions
考虑到缓存相关性，我们在 partitions 重排的过程中引入一些策略，默认类型为"Seq"。
pub enum PartitionsShuffleKind {
// Bind the Partition to executor one by one with order.
Seq,
// Bind the Partition to executor by partition.hash()%executor_nums order.
Mod,
// Bind the Partition to executor by partition.rand() order.
Rand,
}
阅读以下材料以了解更多讯息
- PR | add shuffle policy for Partitions
Databend x Rust China Hackathon 2022
Rust China Hackathon 2022 即将来袭!本届Hackathon的主题为「Rust For Fun」，分为「社区组」与「企业组」。
Databend 作为本届 Hackathon 的协办方，赞助参与本次企业组赛道，参赛选手可以围绕 Databend 组件或 Databend 生态周边进行创作，共同探索云原生数仓的魅力。
阅读以下材料以了解更多讯息
- GitHub - datafuselabs / hackathon2022
Issues
遇到你可能会感兴趣的问题，欢迎试着解决它。
Switch to nextest in CI
"cargo-nextest" 致力于成为 Rust 项目的下一代测试运行工具。
我们注意到它在非常多项目上都要比 "cargo test" 更快。然而，要想在 Databend 上启用它仍然需要解决一些挑战。例如，对于不同类型的测试，如何正确设置线程数量以确保测试正确高效执行。另外，可能需要重写部分测试以确保得到更合适的结果。
Issue 4376: switch to nexttest in ci
如果你对这个主题感兴趣，可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者，你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题，祝好运！
Changlogs
前往查看 Databend 每日构建的变更日志，以了解开发的最新动态。
地址：https://github.com/datafuselabs/databend/releases
Contributors
非常感谢贡献者们在本周的卓越工作。
Meet Us
Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。
-
Databend Website ：https://databend.rs/
-
Weekly ：https://weekly.databend.rs/
-
GitHub Discussions ：https://github.com/datafuselabs/databend/discussions
-
Twitter ：https://twitter.com/Datafuse_Labs
-
Slack Channel ：https://link.databend.rs/join-slack
