随笔分类 - 大数据技术栈 / 工具-即席查询
Presto、Impala、
摘要：详细使用参考官方文档： http://kylin.apache.org/cn/docs/ Kylin的构建过程 sql如下 SELECT `APP_POINT`.`MID` as `APP_POINT_MID` ,`APP_POINT`.`MEMBER_LEVEL` as `APP_POINT_ME
阅读全文
摘要：Kylin Cube的优化 在没有采取任何优化措施的情况下，Kylin会对每一种维度的组合进行预计算，每种维度的组合的预计算结果被称为Cuboid。假设有4个维度，我们最终会有24 =16个Cuboid需要计算。 但在现实情况中，用户的维度数量一般远远大于4个。假设用户有10 个维度，那么没有经过任
阅读全文
摘要：employee实事表才会参与真正运算，dept维表不参与 model模型分以下2种： ① 当所有维表都直接连接到“ 事实表”上时，整个图解就像星星一样，故将该模型称为星形模型 星状模型是直接关联； ② 当有一个或多个维表没有直接连接到事实表上，而是通过其他维表连接到事实表上时，其图解就像多个雪花连
阅读全文
摘要：Kylin可视化工具 JDBC 新建项目并导入依赖 View Code public class TestKylin { public static void main(String[] args) throws ClassNotFoundException, SQLException { //ky
阅读全文
摘要：Druid是一个快速的列式分布式的支持实时分析的数据存储系统，在处理PB级别数据、毫秒级查询、数据实时处理方面，比传统的OLAP系统有了显著的性能改进。 Druid数据结构 与Druid架构相辅相成的是其基于DataSource与Segment的数据结构，它们共同成就了Druid的高性能优势。 Dr
阅读全文
摘要：Presto Presto是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。 虽presto可以解析SQL，但它不是一个标准的数据库，不是MySQL、Oracle的代替品，也不能用来处理在线事务（OLTP）； Presto、Impala性能比较 测试结论：Imp
阅读全文
摘要：Phoenix Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。 1.特点 1) 容易集成：如Spark，Hive，Pig，Flume和Map Reduce。 2) 性能好：直接使用HBase API以及协处理
阅读全文
摘要：OLAP（online analytical processing） OLAP是一种软件技术，它使分析人员迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的，从各方面观察信息，也就是从不同的维度分析数据，因为OLAP也称为多维分析。 Kylin对接的就是数仓中的dwd层星型模型 或雪花模
阅读全文
摘要：1. 概述 Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。 是CDH平台首选的PB级大数据实时查询分析引擎。 1.1 优点 1) 基于内存运算，不需要把中间结果写入磁盘，省掉了
阅读全文
