一些不错的开源大数据虚拟数据sql 查询引擎

以下就是一个简单的整理,核心在数据sql查询以及支持的联邦数据处理上

presto

一个通用的sql on anything 工具

apache drill

很不错的多数据源sql 查询引擎,schema on fly

dremio

很不错,从官方文档看有点对标presto,但是dremio 更强大

apache impala

从实践上算是一个虚拟数据sql 引擎,但是太复杂,与hadoop 体系集成会比较好

greenplum

greenplum 基本就是一个智能分析+ sql (oltp+olap) 平台,因为可以集成多数据源,而且内置了机器学习 
框架 ,我们直接可以基于sql进行数据处理(目前最新版本好像对于pg 的内核支持13了 ,很不错)

postgres fdw

说postgres fdw 是大数据的虚拟数据sql引擎有点牵强,但是postgres fdw 强大的扩展能力,以及生态,是一个 
很不错的选择,greenplum对于多数据源的支持基于fdw的

apache pinot

正在孵化的olap 项目,支持类sql 的查询 ,对于跨数据源的join 推荐通过presto解决

说明

以上是一个简单的梳理,还有好多其他比较好的平台工具,后边发现比较好的,补充完善

参考资料

https://prestodb.io/ 
https://drill.apache.org/ 
https://www.dremio.com/ 
https://impala.apache.org/ 
https://greenplum.org/ 
https://wiki.postgresql.org/wiki/Foreign_data_wrappers 
http://pinot.incubator.apache.org/

posted on 2020-10-08 09:58  荣锋亮  阅读(1439)  评论(2编辑  收藏  举报

导航