打赏
摘要: 不多说,直接上干货! 首先,对于Apache Kylin的安装,我有话要说。 由于Apache Kylin本身只是一个Server,所以安装部署还是比较简单的。但是它的前提要求是Hadoop、Hive、HBase必须已经安装且能正常工作。 以下,是我集群环境的情况 Apache kylin的官网安装 阅读全文
posted @ 2017-08-21 15:48 大数据和AI躺过的坑 阅读(755) 评论(0) 推荐(0) 编辑
摘要: 不多说,直接上干货! 可扩展的超快OLAP引擎,提供标准SQL查询接口 支持单机或集群部署,为减少在Hadoop上百亿规模数据查询延迟而设计; 提供标准SQL接口,满足Hadoop之上的大部分分析查询需求。 交互式查询能力,多维立方体(MOLAP Cube) 用户能够在Kylin里为百亿以上数据集定 阅读全文
posted @ 2017-08-21 15:21 大数据和AI躺过的坑 阅读(698) 评论(0) 推荐(0) 编辑
摘要: 不多说,直接上干货! 简单的说Cuboid的维度会映射为HBase的Rowkey,Cuboid的指标会映射为HBase的Value。 Cube映射成HBase存储 如上图原始表所示:Hive表有两个维度列year和city,有一个指标列price。如上图预聚合表所示:我们具体要计算的是year和ci 阅读全文
posted @ 2017-08-21 15:17 大数据和AI躺过的坑 阅读(1775) 评论(0) 推荐(0) 编辑
摘要: 不多说,直接上干货! 1、 Cube的物理模型 Cube物理模型 如上图所示,一个常用的3维立方体,包含:时间、地点、产品。假如data cell 中存放的是产量,则我们可以根据时间、地点、产品来确定产量,同时也可以根据时间、地点来确定所有产品的总产量等。 Apache Kylin就将所有(时间、地 阅读全文
posted @ 2017-08-21 15:03 大数据和AI躺过的坑 阅读(10870) 评论(0) 推荐(2) 编辑
摘要: 不多说,直接上干货! 1、表(table):This is definition of hive tables as source of cubes,在build cube 之前,必须同步在 kylin中。2、模型(model):模型描述了一个星型模式的数据结构,它定义了一个事实表(Fact Tab 阅读全文
posted @ 2017-08-21 14:59 大数据和AI躺过的坑 阅读(1387) 评论(0) 推荐(0) 编辑
摘要: 不多说,直接上干货! Apache kylin 能提供低延迟(sub-second latency)的秘诀就是预计算,即针对一个星型拓扑结构的数据立方体,预计算多个维度组合的度量,然后将结果保存在hbase中,对外暴露JDBC、ODBC、Rest API的查询接口,即可实现实时查询。 如上图所示,K 阅读全文
posted @ 2017-08-21 14:55 大数据和AI躺过的坑 阅读(657) 评论(0) 推荐(0) 编辑
摘要: 不多说,直接上干货! Apache Kylin的官网 - 可扩展超快OLAP引擎: Kylin是为减少在Hadoop上百亿规模数据查询延迟而设计 - Hadoop ANSI SQL 接口: Kylin为Hadoop提供标准SQL支持大部分查询功能 - 交互式查询能力: 通过Kylin,用户可以与Ha 阅读全文
posted @ 2017-08-21 14:53 大数据和AI躺过的坑 阅读(915) 评论(0) 推荐(0) 编辑