摘要：一、增量Cube构建 ### 增量cube构建流程 ~~~ 步骤：定义数据源 => 定义model => 定义Cube => 构建Cube 二、定义数据源 ### 准备数据源 ~~~ # 准备数据源 [root@hadoop02 ~]# ll /data/kylin/ ~~~准备数据源 dw_sal
阅读全文
摘要：一、增量构建Cube ### 增量构建cube ~~~ 在大多数业务场景下，Hive中的数据处于不断增长的状态 ~~~ 为了支持在构建Cube时，无需重复处理历史数据，引入增量构建功能 二、Segment ### Kylin将Cube划分为多个Segment（对应就是HBase中的一个表） ~~~
阅读全文
摘要：一、创建Cube（按日期、区域、产品、渠道） ### Cube设计： ### cube执行流程 ~~~ 维度：日期、渠道、区域、产品 ~~~ 指标：销售总金额、订单总笔数 ### SQL： select t1.date1, t2.regionid, t2.regionname, t3.product
阅读全文
摘要：一、按日期维度构建cube： ### 按日期维度构建cube： ~~~ 创建项目（Project） ~~~ 输入项目名称 二、创建数据源 ### 创建数据源 ~~~ 创建数据源（DataSource） 三、创建模型（Model）选择new model ### 创建模型（Model）选择new mod
阅读全文
摘要：一、创建Cube（按渠道） ### Cube设计： ### 设计结构 ~~~ 维度：渠道 ~~~ 指标：销售总金额、订单总笔数、最大订单金额、订单的平均金额 ### SQL： select t2.channelid, t2.channelname, sum(t1.price), max(t1.pri
阅读全文
摘要：一、创建 Cube（按日期） ### 核心步骤：DataSource => Model => Cube ~~~ Model：描述了一个星型模式的数据结构， ~~~ 定义事实表（Fact Table）和维表（Lookup Table），以及它们之间的关系。 ~~~ 基于一个model可创建多个Cube
阅读全文
摘要：一、Apache Kylin 实战 ### 课程概述： ~~~ 概述(历史、特点、应用场景；基本术语；技术架构；工作原理；生态) ~~~ 安装配置 ~~~ 构建Cube (全量构建) ~~~ 增量构建Cube ~~~ Cube优化 ~~~ 流式构建 ### Apache Kylin实战 ~~~ Ap
阅读全文
摘要：一、Kylin安装环境准备：依赖环境 软件 版本 Hive 2.3.7 Hadoop 2.9.2 HBase 1.3.1 Zookeeper 3.4.14 Kafka 1.0.2 Spark 2.4.5 二、集群规划 server Hadoop01 hadoop02 hadoop03 HDFS Na
阅读全文
摘要：一、使用Kylin构建Cube：Kylin数据结构 二、准备Kylin构建cube的数据文件 ### 准备数据：准备脚本 ~~~ # 准备数据文件dw_sales_data.txt、dim_channel_data.txt、dim_product_data.txt、dim_region_data.t
阅读全文
摘要：NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
