Databend 开源周报 #68

Databend 是一款强大的云数仓。专为弹性和高效设计,自由且开源。

即刻体验云服务:https://app.databend.com

New Features

metrics

  • 添加关于查询详情的统计指标 (#8800)

multiple catalog

  • 实现 multiple catalog 相关配置 (#8743)

query

  • 在读数据块时调整最大 io 请求,以避免 OOM (#8726)

  • 将 "PrecommitBlock" 的序列化/反序列化工具从 "serde_json" 变更为 "bincode" (#8726)

  • 支持 parallel final aggregator,在部分场景带来 4X 性能提升! (#8577)

  • 分布式查询结果并行合并 (#8811)

storage

  • 在分布式剪枝过程中对数据段进行编排 (#8793)

  • 为 Partitions 增加编排策略 (#8814)

new expression

  • 为比较相关表达式添加计算域 (#8754)

Code Refactor

io

  • 使用 "Cursor" 替换 "NestedCheckpointReader" (#8716)

handler

  • 使用 "FieldEncoder" 编码数据 (#8733)

format

  • 使用 "FieldEncoder" 重构(#8778)

query

  • 统一哈希表接口 (#8681)

storage

  • compact block 的全新实现 (#8679)

new expression

  • 优化 domain (#8755)

  • 允许 chunk 中使用稀疏列 id (#8789)

Bug Fix

handler

  • 修正 databend 类型到 mysql 类型的对应关系 (#8745)

functions

  • "l_col like r_col" 将会根据 "r_col" 生成哈希表,如果 "r_col" 很大,可能导致 OOM (#8737)

News

Datafuse Labs / Databend 本周新动态!

Shuffle Policy for Partitions

考虑到缓存相关性,我们在 partitions 重排的过程中引入一些策略,默认类型为"Seq"。

pub enum PartitionsShuffleKind {
    // Bind the Partition to executor one by one with order.
    Seq,
    // Bind the Partition to executor by partition.hash()%executor_nums order.
    Mod,
    // Bind the Partition to executor by partition.rand() order.
    Rand,
}

阅读以下材料以了解更多讯息

  • PR | add shuffle policy for Partitions

Databend x Rust China Hackathon 2022

Rust China Hackathon 2022 即将来袭!本届Hackathon的主题为「Rust For Fun」,分为「社区组」与「企业组」。

Databend 作为本届 Hackathon 的协办方,赞助参与本次企业组赛道,参赛选手可以围绕 Databend 组件或 Databend 生态周边进行创作,共同探索云原生数仓的魅力。

阅读以下材料以了解更多讯息

  • GitHub -  datafuselabs / hackathon2022

Issues

遇到你可能会感兴趣的问题,欢迎试着解决它。

Switch to nextest in CI

"cargo-nextest" 致力于成为 Rust 项目的下一代测试运行工具。

我们注意到它在非常多项目上都要比 "cargo test" 更快。然而,要想在 Databend 上启用它仍然需要解决一些挑战。例如,对于不同类型的测试,如何正确设置线程数量以确保测试正确高效执行。另外,可能需要重写部分测试以确保得到更合适的结果。

Issue 4376: switch to nexttest in ci

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changlogs

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

image.png

Meet Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

posted @ 2022-11-23 14:56  Databend  阅读(50)  评论(0编辑  收藏  举报