RDBMS架构的开源DW/DSS引擎列表

  因为笔者早期以oracle为主要RDBMS进行设计和优化,所以几乎即使单表超过5000w,多张超过300万以上的表做任意复杂的统计和风控计算都没出过性能问题。如今全面mysql为主线或者说open source rdbms为主线,随着系统逐渐往saas发展,不得不考虑后续大数据量时候的统计性能问题,今天整理了下,目前较为主流的基于RDBMS架构的开源DW/DSS引擎主要有如下。

  至于为何使用基于SQL的方式,主要还是从开发成本的考虑,因为人力成本是软件型公司的主要成本之一,而大部分的开发人员几乎都比较熟悉SQL,而且SQL的社区和生态支持足够的丰富(其实hadoop社区除了一开始之外,其实慢慢的也都最后提供了类SQL接口,比如impala、spark等等,其实尼玛就是忽悠外行,我猜初衷真正的目标可能是为了弄个open source的dw引擎吧,不过最终都是走向了商业化,除了java和linux社区外,好像还真不存在真正的非营利社区,因为没有那么多高手愿意做志愿者)。

  言归正传,目前较为主流的基于RDBMS架构的开源DW/DSS(提供了社区版)引擎主要有如下:

  • infinidb
  • infobright
  • postgresql
  • monetdb
  • mariadb columnstore
  • greenplum-db

  其他包括:

  • clickhouse
  • spark/impala
  • presto

  greenplum和monetdb的简单对比可参考http://blog.163.com/digoal@126/blog/static/163877040201472085650882/。

posted @ 2016-11-23 16:16  zhjh256  阅读(497)  评论(0编辑  收藏  举报