一些不错的开源大数据虚拟数据sql 查询引擎
以下就是一个简单的整理,核心在数据sql查询以及支持的联邦数据处理上
presto
一个通用的sql on anything 工具
apache drill
很不错的多数据源sql 查询引擎,schema on fly
dremio
很不错,从官方文档看有点对标presto,但是dremio 更强大
apache impala
从实践上算是一个虚拟数据sql 引擎,但是太复杂,与hadoop 体系集成会比较好
greenplum
greenplum 基本就是一个智能分析+ sql (oltp+olap) 平台,因为可以集成多数据源,而且内置了机器学习
框架 ,我们直接可以基于sql进行数据处理(目前最新版本好像对于pg 的内核支持13了 ,很不错)
postgres fdw
说postgres fdw 是大数据的虚拟数据sql引擎有点牵强,但是postgres fdw 强大的扩展能力,以及生态,是一个
很不错的选择,greenplum对于多数据源的支持基于fdw的
apache pinot
正在孵化的olap 项目,支持类sql 的查询 ,对于跨数据源的join 推荐通过presto解决
说明
以上是一个简单的梳理,还有好多其他比较好的平台工具,后边发现比较好的,补充完善
参考资料
https://prestodb.io/
https://drill.apache.org/
https://www.dremio.com/
https://impala.apache.org/
https://greenplum.org/
https://wiki.postgresql.org/wiki/Foreign_data_wrappers
http://pinot.incubator.apache.org/