随笔分类 -  kylin

Apache Kylin。它采用多维立方体预计算技术,通过空间换时间的方式,实现在亚秒级别延迟的情况下,对Hadoop上的大规模数据集进行交互式查询;Kylin通过预计算,把计算结果集保存在HBase中,原有的基于行的关系模型被转换成基于键值对的列式存储;通过维度组合作为HBase的Rowkey,在查询访问时不再需要昂贵的表扫描,这为高速高并发分析带来了可能;Kylin提供了标准SQL查询接口,支持大多数的SQL函数,同时也支持ODBC/JDBC的方式和主流的BI产品无缝集成。
摘要:错误信息如下: 2021-03-11 11:18:33,218 ERROR [main] mr.MapredLocalTask: Hive Runtime Error: Map local work exhausted memoryorg.apache.hadoop.hive.ql.exec.map 阅读全文

posted @ 2021-03-11 14:25 打杂滴 阅读(259) 评论(0) 推荐(0) 编辑 |

摘要:1.新增或者选择一个已有项目(project)后,将hive数据导入到kylin中,web界面的Model→Data source,导入数据 2.创建数据模型,数据模型是Cube的基础,它主要用于描述一个星形模型。有了数据模型以后,定义Cube的时候就可以直接从此模型定义的表和列中进行选择了,省去重 阅读全文

posted @ 2019-03-21 11:40 打杂滴 阅读(608) 评论(0) 推荐(0) 编辑 |

摘要:必须和hive一个节点上 Hadoop 3.1.4(hadoop 3.3.0不兼容),Hive 3.1.2,hbase 2.2.6 配置好的情况下 下载 apache-kylin-3.1.1-bin-hadoop3.tar.gz https://archive.apache.org/dist/kyl 阅读全文

posted @ 2019-03-11 15:44 打杂滴 阅读(927) 评论(0) 推荐(0) 编辑 |

摘要:Apache Kylin™是由eBay开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 底层存储用的是HBase,数据输入与cube building 阅读全文

posted @ 2018-09-17 13:50 打杂滴 阅读(417) 评论(0) 推荐(0) 编辑 |

随笔 - 224, 文章 - 0, 评论 - 1, 阅读 - 12万

Copyright © 2025 打杂滴
Powered by .NET 9.0 on Kubernetes

点击右上角即可分享
微信分享提示