随笔分类 - 数据仓库
摘要：根据excel模板生成Hive DDL建表SQL 1.excel模板 2.excel_gen_ddl_sql.py #!/usr/bin/python # -*- coding: utf-8 -*- """ 功能: excel数据仓库物理模型生成 ddl_表名.sql文件 输入数据：文件名以「数据模
阅读全文
摘要：维度建模理论 - 解读版 维度建模 维度建模（Kimball）：分析决策的需求出发构建模型，为分析需求服务，因此 它重点关注用户如何更快速地完成需求分析，同时具有较好的大规模复 杂查询的响应性能。其典型的代表是星形模型，以及在一些特殊场景下 使用的雪花模型 --分享解读：区别于lnmon的范式建模，
阅读全文
摘要：一.背景 数仓建设中经常会有多个维度灵活组合看数的需求，这种多维分析的场景一般有两种处理方式 即时查询 适合计算引擎很强，查询灵活，并发量不大的场景 数据链路：明细数据hive表-> MPP计算引擎 预计算 适合有固定模式的聚合查询。预计算的结果可以被不同下游复用 数据链路： 明细数据-> 离线计算
阅读全文
摘要：
阅读全文
