几个不错的数据加速工具

主要说明一些关于数据查询引擎、以及大数据加速的开源工具

alluxio

分布式虚拟机文件系统,可以用来加载数据访问,比较适合大数据,机器数据,数据湖查询。。。

juicefs

也是开源的基于golang 的对于对象存储的优化(当然也可以本地运行的,缺少分布式能力,需要一个元数据存储)
目前来说支持机器学习,以及大数据周边,运行起来相对轻量,但是元数据存储是一个大问题

rubix

对于列式以及对象存储的文件系统优化(presto 支持的不错,但是不好的是基本不活跃了)

阿里的jindofs

github 上说预计会开源,但是暂时还没看到源码

说明

现在越来越多的企业都在基于对象存储进行数据湖系统的简单,但是数据加速还是比较重要的,以上是简单列出了一些可选工具,后续有新的会完善的

参考资料

https://github.com/qubole/rubix
https://www.alluxio.io/
https://github.com/Alluxio/alluxio
https://juicefs.com/
https://github.com/juicedata/juicefs
https://github.com/aliyun/alibabacloud-jindodata

posted on   荣锋亮  阅读(371)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
历史上的今天:
2021-06-11 jcasbin redis watcher 一些修改
2021-06-11 cube.js 0.27.31 一些新特性
2020-06-11 pgspider clickhouse fdw v2 版本
2020-06-11 ola 不错的sql server 维护方案
2020-06-11 几个不错的web资源inlines npm包
2020-06-11 nodejs 几个不错的callback 以及promise 转换处理工具
2019-06-11 circus security 来自官方的安全建议

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示