摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、定义数据源 ### 定义数据源 ~~~ # 1、创建数据源 ~~~ # 2、填写kafka集群信息 ~~~ # 3、通过kylin加载的json字段:创建流表维表格式 ~~~ # 4、查看加载的流式实时数据源 二、创建Model ### 设计Model ~~~ # 当前,流cube不支持与loo
阅读全文
摘要:一、定义Model ### 定义Model ~~~ 1、Model Designer ~~~ 2、Data Model:因为把维表都包含了,不涉及到维表,只要选择数据源即可 ~~~ 3、Dimensions ~~~ 4、Measures ~~~ 5、settings——>Save 二、定义cube
阅读全文
摘要:一、实时OLAP ### 实时OLAP ~~~ Kylin V3.0.0发布了全新的实时OLAP功能,借助新添加的流接收器群集的功能, ~~~ Kylin可以以亚秒级的延迟查询流数据。 ~~~ 如果希望以微批量方式(大约10分钟的延迟)接收kafka事件,则可以考虑使用流式构建。 ~~~ 这两个功能
阅读全文
摘要:一、OLAP环境准备 ### OLAP环境准备 ~~~ # 进入服务部署目录 [root@hadoop02 ~]# cd /opt/yanqi/servers/ ~~~ # coordinator [root@hadoop02 servers]# cp -r kylin-3.1.1/ kylin-3
阅读全文
摘要:一、流式构建 ### 流式构建 ~~~ 实时数据更新是一种普遍的需求,快速分析变化趋势才能做出正确的决策。 ~~~ Kylin V1.6 发布了可扩展的 streaming cubing 功能, ~~~ 它利用 Hadoop 消费 Kafka 数据的方式构建 cube。 ~~~ 这种方式构建的Cub
阅读全文
摘要:一、聚合组 ### 聚合组 ~~~ 随着维度数目的增加,Cuboid 的数量会爆炸式地增长。 ~~~ 为了缓解 Cube 的构建压力,Apache Kylin 引入了一系列的高级设置, ~~~ 帮助用户筛选出真正需要的 Cuboid(本质是要减少Cube构建过程中的预计算)。 ### 这些高级设置包
阅读全文
摘要:一、Rowkeys ### Rowkeys ~~~ 简单的说Cuboid的维度会映射为HBase的Rowkey,Cuboid的指标会映射为HBase的Value。 二、Rowkeys示例说明 ### Rowkeys示例说明 ~~~ # 如上图原始表所示: ~~~ Hive表有两个维度列year和ci
阅读全文
摘要:一、案例二:定义衍生维度及对比: ### 定义cube ~~~ 构建与前面Cube4类似的Cube7,仅在维度定义有区别,以下是二者的对比: 二、定义cube ### 定义cube ~~~ # 1、定义一个cube:基于yanqi_sales_model4定义cube7 ~~~ # 2、定义维度 ~
阅读全文
摘要:一、加载数据源 ### 加载数据源 ### 查看创建日期维表的cube 二、定义model:案例一 ### 定义model:案例一 ~~~ # 1、新建一个model1、新建一个model ~~~ # 2、定义事实表 ~~~ # 3、定义维表 ~~~ # 4、定义维度:全部加进去 ~~~ # 5、定
阅读全文
摘要:一、使用衍生维度 ### 使用衍生维度 ~~~ 一个维度可以是普通维度或者是衍生维度(Derived)。 ~~~ 将维度表的维度设置为衍生维度, ~~~ 这个维度不会参与预计算,而是使用维度表的主键(或事实表的外键)来替代它。 ~~~ Kylin会在底层记录维表主键与维度表其他维度之间的映射关系,
阅读全文
摘要:一、检查Cube大小 ### 检查Cube大小 ~~~ 在Web GUI的Model页面选择一个READY状态的Cube, ~~~ 光标移到该Cube的Cube Size列时,Web GUI会提示Cube的源数据大小, ~~~ 以及当前Cube的大小除以源数据大小的比例,称为膨胀率(Expansio
阅读全文
摘要:一、检查Cuboid数量 ### 检查Cuboid数量 ~~~ Apache Kylin提供了一个简单的工具, ~~~ 检查Cube中哪些Cuboid最终被预计算了,称这些Cuboid为被物化的Cuboid, ~~~ 该工具还能给出每个Cuboid所占空间的估计值。 ~~~ 由于该工具需要在对数据进
阅读全文
摘要:一、Cube优化 ### Cuboid剪枝优化 ~~~ Cuboid 特指 Kylin 中在某一种维度组合下所计算的所有数据。 ~~~ 以减少Cuboid数量为目的的优化统称为Cuboid剪枝。 ### 在没有采取任何优化措施的情况下,Kylin会对每一种维度的组合进行预计算。 ~~~ 如果有4个维
阅读全文
摘要:一、配置保留Segment ### 配置保留Segment ~~~ 自动合并是将多个Segment合并为一个Segment,以达到清理碎片的目的。 ~~~ 保留Segment则是及时清理不再使用的Segment。 ### 在很多场景中,只会对过去一段时间内的数据进行查询,例如: ~~~ 对于某个只显
阅读全文
摘要:一、使用JDBC连接操作Kylin ### 使用JDBC连接操作Kylin ~~~ 要将数据以可视化方式展示出来,需要使用Kylin的JDBC方式连接执行SQL,获取Kylin的执行结果 ~~~ 使用Kylin的JDBC与JDBC操作MySQL一致 ~~~ jdbc url:jdbc:kylin:/
阅读全文
摘要:一、自动触发合并segment ### 自动触发合并segment ~~~ 手动维护Segment很繁琐,人工成本很高,Kylin中是可以支持自动合并Segment。 ~~~ 在Cube Designer的“Refresh Settings”的页面中有: ~~~ Auto Merge Thresho
阅读全文
摘要:一、定义数据源 ### 定义数据源 ~~~ 定义数据源 ~~~ 加载数据 ~~~ 查看加载的数据 二、定义model ### 定义model ~~~ 定义model ~~~ 定义分区 三、定义cube ### 定义cube ~~~ 定义cube ~~~ 定义维度 ~~~ 措施 ~~~ Refresh
阅读全文
摘要:一、Segment管理 ### Segment管理 ~~~ 增量构建的Cube每天都可能会有新的增量, ~~~ 这样的Cube中最终可能包含很多 Segment,这将导致Kylin性能受到严重影响。 ~~~ 从执行引擎的角度来说,运行时的查询引擎需要聚合多个Segment的结果才能返回正确的查询结果
阅读全文