大数据的实时技术

目前实时或者是准实时的大数据模型越来越多,技术是否先进并非流行的首要原因,社区圈子的繁荣与否才是最重要的。主要有

 

  • Redshift -亚马逊出品的一款MPP支持PB级别数据库
  • Hive -基于hadoop 上面的SQL引擎,将sql翻译为Map-Reduce任务;
  • Shark - 基于spark计算框架,与Hive SQL兼容的SQL引擎;
  • Impala - 通过类MPP执行引擎实现的,与HIVE SQL兼容的SQL;
  • Stinger/Tez - stinger是HONTONWORKS,与cloudera打擂台的产品,把下一代计算框架tez加进来扯大旗;

 

就算是再实时的产品,定位也很明确,这是一款OLAP的产品,而与HBASE等产品泾渭分明,倒是跟图计算引擎存在一定的交际。目前的态势看,spark具有很大优势。大数据产品发展更新迭代很快,这些多少都有这GOOGLE DREMEL痕迹的产品究竟会如何,我们持续关注

posted @ 2015-01-15 17:43  唠叨阁大学士  阅读(175)  评论(0编辑  收藏  举报