Databend v0.8 新版本上线！

​Hello，大家好，我是漩涡，现在由我代表 Databend 社区宣布 v0.8 版本的正式发布。

Databend v0.8 的开发于 3 月 28 号开始，总计 5000+ commits，4600+ 文件变更。在过去的 5 个月中，社区的 120 余位贡献者新增了 42 W 行代码，删除了 16 W 行，相当于把 Databend 重写了一遍。在该版本中，社区对 SQL Planner 框架做出了重大改进，并将所有的 SQL 语句都迁移到了新的 Planner 上，提供了完整的 JOIN 和子查询支持。

现在就下载最新版本

https://github.com/datafuselabs/databend/releases/tag/v0.8.0-nightly

接下来就让我们看看 v0.8 都做了什么吧～

Databend 是什么？

Databend 是一个基于 Rust 开发的现代化云数据仓库，致力于实现高性能可弹性扩展的实时数据分析，激活用户的数据潜能。

重大改进

  • New Planner: JOIN! JOIN! JOIN!

为了更好的支持复杂的 SQL 查询和提升用户体验，Databend v0.8 设计了全新的 Planner 框架。在 New Planner 的驱动下，Databend 增加了 JOIN 和高效的子查询支持，所有的子查询在进入 runtime 之前已经完全被 decorrelation：

select vip_info.Client_ID, vip_info.Region 
    from vip_info right 
    join purchase_records 
    on vip_info.Client_ID = purchase_records.Client_ID;

  • New Parser: 最好用的 Parser！

在重构 Planner 的同时，Databend 社区基于 nom和 partt 实现了兼顾开发效率与用户体验的全新 Parser。

新的 Parser 让开发者以直观的方式轻松的设计/开发/测试复杂的 SQL 语法

COPY
    ~ INTO ~ #copy_unit
    ~ FROM ~ #copy_unit
    ~ ( FILES ~ "=" ~ "(" ~ #comma_separated_list0(literal_string) ~ ")")?
    ~ ( PATTERN ~ "=" ~ #literal_string)?
    ~ ( FILE_FORMAT ~ "=" ~ #options)?
    ~ ( VALIDATION_MODE ~ "=" ~ #literal_string)?
    ~ ( SIZE_LIMIT ~ "=" ~ #literal_u64)?

同时能给予用户具体而精准的报错信息：

MySQL [(none)]> select number from numbers(10) as t inner join numbers(30) as t1 using(number);
ERROR 1105 (HY000): Code: 1065, displayText = error:
  --> SQL:1:8
  |
1 | select number from numbers(10) as t inner join numbers(30) as t1 using(number)
  |        ^^^^^^ column reference is ambiguous

再也不用担心不知道 SQL 哪里出错了。

访问 The New Databend SQL Planner 以了解更多细节

全新特性

除了全新设计的 Planner 之外，Databend 社区还实现了众多新功能：

COPY 增强：

COPY 能力得到了极大强化，现在的 Databend 可以

  • 从任意支持的存储服务复制数据 (甚至是 https！)

       COPY 
           INTO ontime200 
           FROM 'https://repo.databend.rs/dataset/stateful/ontime_2006_[200-300].csv' 
           FILE_FORMAT = (TYPE = 'CSV')
  • 支持复制压缩文件

        COPY 
            INTO ontime200 
            FROM 's3://bucket/dataset/stateful/ontime.csv.gz' 
            FILE_FORMAT = (TYPE = 'CSV' COMPRESSION=AUTO)
  • UNLOAD 数据到任意支持的存储服务

       COPY 
           INTO 'azblob://bucket/'  
           FROM ontime200
           FILE_FORMAT = (TYPE = 'PARQUET‘)

Hive 支持：

Databend v0.8 设计并开发了 Multi Catalog 并在此基础上实现了 Hive Metastore 的支持！现在 Databend 能够直接对接 Hive 并从 HDFS 上读取数据。

select * from hive.default.customer_p2 order by c_nation;

时间旅行：

很久之前，Databend 社区分享过底层 FUSE Engine 的实现 From Git to Fuse Engine。其中一个非常重要的特性就是支持时间旅行，我们能够查询任何一个时间点的数据表。

从 v0.8 版本开始，这个功能被正式实装啦，现在我们可以

  • 查询指定时间的数据表

        -- Travel to the time when the last row was inserted
        select * from demo at (TIMESTAMP => '2022-06-22 08:58:54.509008'::TIMESTAMP); 
        +----------+
        | c        |
        +----------+
        | batch1.1 |
        | batch1.2 |
        | batch2.1 |
        +----------+
  • 恢复误删除的数据表

       DROP TABLE test;

       SELECT * FROM test;
       ERROR 1105 (HY000): Code: 1025, displayText = Unknown table 'test'.

       -- un-drop table
       UNDROP TABLE test;

       -- check
       SELECT * FROM test;
       +------+------+
       | a    | b    |
       +------+------+
       |    1 | a    |
       +------+------+

让业务数据拥有更多保障！

CTE 支持：

CTE (Common Table Expression) 是 OLAP 业务中经常使用的功能，用来单个语句的执行范围内定义的临时结果集，只在查询期间有效，实现代码段的重复使用，提升可读性，更好的实现复杂的查询。Databend v0.8 在 New Planner 的基础上重新实现了 CTE，现在用户可以快乐的使用 WITH 来声明 CTE：

WITH customers_in_quebec 
     AS (SELECT customername, 
                city 
         FROM   customers 
         WHERE  province = 'Québec') 
SELECT customername 
FROM   customers_in_quebec
WHERE  city = 'Montréal' 
ORDER  BY customername; 

除了上述提到的这些功能，Databend v0.8 还支持了 UDFs，增加了 DELETE 语句，进一步强化了半结构化数据类型的支持，更不必说大量的 SQL 语句改进和新方法的加入。感谢 Databend 社区的所有贡献者，没有你们就没有这里提到的所有新特性的诞生！质量提升

质量提升

功能实现只不过是产品交付的第一环。在 Databend v0.8，社区引入了工程质量的概念，从用户，贡献者，社区三个维度来评估 Databend 的开发质量。

让用户放心：

为了让用户能够放心地使用 Databend，社区在过去的三个月中增加了大量测试，撷取了来自 YDB 等充实 stateless 测试集，增加了 ontime，hits 等数据集的 stateful 测试，上线了 SQL Logic Test 对所有的接口进行覆盖测试，启用了 SQL Fuzz 测试来覆盖边界情况。

不仅如此，社区还上线了 Databend Perf 做 Databend 在生产环境的持续性能测试，用来及时发现意外的性能回退问题。

让贡献者舒心：

Databend 是一个大型的 Rust 项目，其构建时间饱受社区诟病。

为了改进这一问题，让贡献者舒心，社区上线了高配置，专门调优的 Self-hosted Runner 来执行 PR 的集成测试，启用了 Mergify，mold，dev-tools 等多项服务或工具来优化 CI 流程。

同时还发起了 Databend 项目结构调整的新规划，将原本巨大的 query crate 拆分为多个子 crate，尽可能避免改一行代码，check 执行五分钟的情形。

让社区开心：

Databend 是开源社区的贡献者和参与者。在 v0.8 的开发过程中，Databend 社区确立了 Upstream First 的原则，积极跟进并采用最新的上游版本，反馈已知 BUG，贡献自己的 Patch，开启了 Tracking issues of upstream first violation来跟进最新的动态。

Databend 社区积极探索与其他开源项目的集成，目前已经实现了 Vector，sqlalchemy，clickhouse-driver 等第三方驱动的集成和支持。

下一步计划

Databend v0.8 是一个夯实基础的版本，我们有了全新的 Planner，能够更加轻松的去实现功能和进行优化。在 0.9 版本中，我们期望改进如下方面：

  • Query Result Cache
  • JSON Optimization
  • Table Share
  • Processor Profiling
  • Resource Quota
  • Data Caching

欢迎查阅 Release proposal: Nightly v0.9以了解最新动态～

现在就出发

访问发布日志和下载最新版本以了解更多，遇到问题欢迎使用 Github Issues提交反馈！

关于 Databend

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。


文章首发于公众号：Databend

posted @ 2022-08-22 16:49  Databend  阅读(53)  评论(0)  编辑  收藏  举报