摘要： 1、数仓建模的目标 访问性能：能够快速查询所需的数据，减少数据I/O 数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本 使用效率：改善用户应用体验，提高使用数据的效率 数据质量：改善数据统计口径的不一致性，减少数据计算错误的可能性，提供高质量的、一直的数据访 阅读全文

摘要： 什么是数据仓库 什么是数据库？ 1.数据库(Database)是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库 2.数据库是长期储存在计算机内、有组织的、可共享的数据集合。数据库中的数据指的是以一定 的数据模型组织、描述和储存在一起、具有尽可能小的冗余度、较高的数据独立性和易扩展性 阅读全文

摘要： https://prestodb.github.io/docs/0.215/functions.html 官网： https://prestodb.io/docs/0.215/functions.html 6.1. 逻辑操作6.2. 比较函数和运算符6.3. 条件表达式6.4. Lambda 表达式 阅读全文

摘要： 1. 函数说明 rank() 排序相同时会重复，总数不会变 dense_rank() 排序相同时会重复，总数会减少 row_number() 会根据顺序计算 2. 操作案例 2.1 数据准备 孙悟空 语文 87 孙悟空 数学 95 孙悟空 英语 68 唐僧 语文 94 唐僧 数学 56 唐僧 英语 阅读全文

摘要： 1、hive语句的书写顺序：（从前往后）(1)select(2)from(3)join on(4) where(5)group by(6)having(7)distribute by/cluster by(8) sort by(9) order by(10) limit(11) union(去重不排 阅读全文

摘要： 背景 数据仓库的核心是展现层和提供优质的服务。ETL 及其规范、分层等所做的一切都是为了一个更清晰易用的展现层。 数仓架构的原则： 1、底层业务的数据驱动为导向同时结合业务需求驱动2、便于数据分析屏蔽底层复杂业务简单、完整、集成的将数据暴露给分析层3、底层业务变动与上层需求变动对模型冲击最小化业务系 阅读全文

摘要： Hive中求交集和差集的两种方法: --1.交集: select id from t1 intersect select id from t2 --2.差集 select a.id from t1 left join t2 on t2.id = t1.id and t2.id is null; se 阅读全文

摘要： 引用： https://zhuanlan.zhihu.com/p/111979066 1 维度表的定义 在维度建模中，通常将指标的度量称之为“事实”，将产生度量的环境称之为“维度”。将描述同一个业务实体的的多个维度列组合在一起，就是常说的“维度表”。维度表是用户分析数据的窗口，其提供了事件发生过程中 阅读全文

摘要： 概述 命令jmap是一个多功能的命令。它可以生成 java 程序的 dump 文件， 也可以查看堆内对象示例的统计信息、查看 ClassLoader 的信息以及 finalizer 队列。 jmap命令是一个可以输出所有内存中对象的工具，甚至可以将VM 中的heap，以二进制输出成文本。 打印出某个 阅读全文

摘要： 引用：https://blog.csdn.net/strongyoung88/article/details/81156271 谓词下推概念 谓词下推 Predicate Pushdown（PPD）：简而言之，就是在不影响结果的情况下，尽量将过滤条件提前执行。谓词下推后，过滤条件在map端执行，减少 阅读全文