Daft 基于rust 开发的分布式数据引擎

Daft 是基于rust开发的分布式数据引擎，可以提供sql 以及python 的dataframe接口，可以应用在数据工程，分析，机器学习以及ai 场景

包含的集成

  • 云存储集成，主要是s3，当然对于s3兼容的也是可以的
  • 集成pytorch，numpy 集成，方便机器学习以及ai 周边的
  • 数据湖周边的集成，比如支持查询apache iceberg，delta lake，hudi 表格式
  • 无缝数据交换，与apache arrow 零拷贝集成
  • 多模态以及机器学习数据集成，包含图拍，url 长文本内容

整体架构

可以看到实现上比较类似db引擎的套路，对于运行runner 支持本地多线程以及基于ray 的集群运行

说明

对于希望提供快速高效的数据处理场景，Daft 可以尝试下

参考资料

https://github.com/Eventual-Inc/Daft

https://www.getdaft.io/

https://www.getdaft.io/projects/docs/en/stable/faq/technical_architecture.html

posted on   荣锋亮  阅读(49)  评论(0)  编辑  收藏  举报

相关博文：
· Daft s3 集成试用
· Daft 集成ray 测试
· Python 史上最全第三方库收集
· OpenRaft 在交易撮合引擎中的应用
· Flink-简单介绍
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2023-12-24 mqtt 共享订阅简单说明
2023-12-24 riak_cs elrang 的s3 存储服务
2022-12-24 通过dremio 一个单元测试了解基本查询处理过程
2021-12-24 maven 多模块父模块问题deploy 问题
2020-12-24 graphikDB/trigger 基于google cel 的trigger 框架
2020-12-24 machine golang 并发工具包使用
2019-12-24 perf + perf-agent-map+bindfs +flamescope生成java docker 火焰图

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示