Daft 基于rust 开发的分布式数据引擎
Daft 是基于rust开发的分布式数据引擎，可以提供sql 以及python 的dataframe接口，可以应用在数据工程，分析，机器学习以及ai 场景
包含的集成
- 云存储集成，主要是s3，当然对于s3兼容的也是可以的
- 集成pytorch，numpy 集成，方便机器学习以及ai 周边的
- 数据湖周边的集成，比如支持查询apache iceberg，delta lake，hudi 表格式
- 无缝数据交换，与apache arrow 零拷贝集成
- 多模态以及机器学习数据集成，包含图拍，url 长文本内容
整体架构
可以看到实现上比较类似db引擎的套路，对于运行runner 支持本地多线程以及基于ray 的集群运行
说明
对于希望提供快速高效的数据处理场景，Daft 可以尝试下
参考资料
https://github.com/Eventual-Inc/Daft
https://www.getdaft.io/projects/docs/en/stable/faq/technical_architecture.html
