摘要：
拉链表 介绍：记录历史。记录一个事务从开始，一直到当前状态的所有变化的信息。 使用场景 表中的数据量很大。(每天都存储会占用很多空间) 表中的部分字段会被更新。 需要查看某一个时间点或者时间段的历史快照信息。 表中的记录变化的比例和频率不是很大。 拉链表优势 优势：既能获取最新的数据，也能添加筛选条 阅读全文
摘要：
事务事实表 介绍 任何类型的时间都可以理解成一种事务，如交易过程中的创建订单、买家付款，物流过程中的揽货、发货、签收等。 事务事实表，即针对这些过程构建的一类事实表，用来跟踪定义业务过程的个体行为，提供丰富的分析能力，作为数据仓库原子的明细数据。 设计过程 1. 选择业务过程 如：淘宝交易订单的流转 阅读全文
摘要：
维度的基本概念 维度建模中，将度量称为"事实"，将环境描述为"维度"，维度是用于分析事实所需要的多样环境。 例如：在分析交易过程中，可以通过买家、卖家、商品和时间等维度描述交易发生的环境。 维度属性是查询约束条件、分组和报表标签生成的基本来源，是数据易用性的关键。 例如： 1.在查询请求中，获取某类 阅读全文
摘要：
星型模型 事实表为中心，维度表关联在事实表上 雪花模型 在星型模型的基础上，维度表上又关联了其他维度表。这种模型维护成本高，性能方面也较差，所以一般不建议使用。 阅读全文
摘要：
数仓主题 每个主题对应一个宏观分析领域。 对于一个erp系统而言，"销售分析"就是一个分析领域 "销售分析"所涉计到的分析对象有商品、供应商、顾客、仓库等。 数仓主题就确定为商品主题、供应商主题、顾客主题、仓库主题； 销售分析可以作为一个主题域。 对于一个erp系统而言，"产品分析"也是一个分析领域 阅读全文
摘要：
事实表 定义：用来存储度量数据的表，如订单数量、销售额、运输成本等。 具有一个日期时间维度，以便将度量数据与时间相关联。 事实表的每一行表示一个事实事件，如某一天的销售额、某个客户的订单数量。 通常具有多个外键，用于关联维度表 维度表 定义：用来存储维度数据的表，即描述性数据。如:客户、产品、地理位 阅读全文
摘要：
定义 OLTP：联机事务处理(对数据的增删改，侧重实时性) OLAP：联机分析处理(对数据的查询，侧重大数据量查询) 场景和应用的区别 OLTP：当具体某类业务事件行为产生后，数据库会记录这个时间是谁在什么时候什么地方做了什么事，这样的一行(或多行)数据会以(增删改)的方式在数据库中进行数据的更新处 阅读全文
摘要：
第一范式(1NF):列的原子性 数据库表中的每个字段都是原子性的，即不可再分的。 应拆分为 第二范式(2NF):消除部分依赖 满足一范式的前提下，表中不存在部分依赖。 在联合主键的情况下，非主键列不能只依赖主键的一部分。 联合主键：学生ID和课程ID，且满足1NF 依赖情况：学生ID和课程ID决定得 阅读全文
摘要：
hive库 yyyy-MM-dd HH:mm:ss 转换为 yyyyMM hive 2021-12-24 18:35:13 > 202112 select from_unixtime(unix_timestamp(ctime, 'yyyy-mm'), 'yyyymm') from table; 获取 阅读全文
摘要：
系统架构图 FE FE是StarRocks的前端节点，负责管理元数据，管理客户端连接，进行查询规划，查询调度等工作。 每个FE节点都会在内存保留一份完整的元数据，这样每个FE节点都能够提供无差别的服务。 FE有三种角色：LeaderFE，Follower FE和Observer FE.Followe 阅读全文