Databend 开源周报第 100 期
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。
What's On In Databend
探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。
Databend v1.2 正式发布
Databend v1.2.0 已于 2023 年 6 月 29 日正式发布!感谢各位社区伙伴的参与,以及每一个让 Databend 变得更好的你!
新版本有许多新功能,包括:
- BITMAP 数据类型
- 使用列号直接查询 CSV/TSV/NDJSON 文件
- 设计并实现全新哈希表大幅提升 Join 的性能
- AI Functions
- 计算列
- VACUUM TABLE
- Serverless Background Service
- 开箱即用的 Databend Python 绑定
- BendSQL - Databend 原生命令行工具
- 与 Apache DolphinScheduler、Apache Flink CDC 以及 Tableau 等数据集成/商业智能工具的无缝集成
如果你想要了解更多信息,请查看下面列出的资源。
Code Corner
一起来探索 Databend 和周边生态中的代码片段或项目。
Databend 长期运行测试
Databend 新近引入长期运行测试方案,旨在验证系统在重负载和高并发下的性能和正确性。这些测试包括并发大规模数据摄取、表维护(优化、重聚类和清理)以及查询。
测试将运行一系列 SQL 和验证命令以验证结果。整个测试从执行预测试脚本(_before.sh
)开始,然后重复运行并发测试脚本,最后执行后测试脚本(_after.sh
)。所有事件日志都将存储在 Databend 中,以供进一步分析。
+-------------------+
| Long Run |
+-------------------+
|
|
v
+-----------------------+
| Before Test Scripts |
+-----------------------+
|
|
v
+----------------------------------+
| Concurrent Test Scripts |
+----------------------------------+
| | |
| | |
v v v
+----------------+ +----------------+ +----------------+
| Test Script 1 | | Test Script 2 | | Test Script 3 |
+----------------+ +----------------+ +----------------+
|
|
v
+-----------------------+
| After Test Scripts |
+-----------------------+
如果你想要了解更多信息,请查看下面列出的资源。
亮点
以下是一些值得注意的事件,也许您可以找到感兴趣的内容。
- 为系统表
system.query_profile
增加更多执行信息,使查询调优更加方便。 - 初步支持读取 Iceberg 表。
- 新增
ntile
窗口函数。 - 初步实现分布式 COPY INTO 。
- 阅读文档 Docs | Loading Data with Tools - Addax 和 Docs | Loading Data with Tools - DataX 了解如何高效便捷导入数据。
- 阅读文档 Docs | Working with Stages - Staging Files 了解如何使用预签名 URL 将文件上传到 Stage 中。
What's Up Next
我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。
发布提案:Nightly v1.3
Databend v1.3 计划于 8 月 1 日发布,主要关注稳定性提高。预期包括以下功能:
Task | Status |
---|---|
(Query) JSON indexing#6994 | IN PROGRESS |
(Query+Storage) Create index feature | IN PROGRESS |
(Query+Storage)Distributed COPY#8594 | IN PROGRESS |
(Query+Storage) Distributed REPLACE | PLAN |
COPY returns more status | PLAN |
(Query+Storage) Query apache/iceberg | IN PROGRESS |
(Processor) OrderBy Spill | IN PROGRESS |
(Stability) Fast update/delete with fuse engine | IN PROGRESS |
(Stability) Query profiling | IN PROGRESS |
(Test) Longrun framework:BendRun | IN PROGRESS |
发布计划可能会根据开发进度有一些调整。欢迎参与讨论并提供反馈。
Issue #11868 | Release proposal: Nightly v1.3
如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!
Changelog
前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。
地址:https://github.com/datafuselabs/databend/releases
Contributors
非常感谢贡献者们在本周的卓越工作。
Connect With Us
Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。