我可不是为了被全人类喜欢才活着的,只要对于某一个人来说我是必|

王陸

园龄:6年11个月粉丝:2049关注:178

随笔分类 -  数据仓库

数仓规范详解
摘要:一、设计规范 1.1 数据模型设计 横向分层 分层设计是数据架构设计的产出之一,在模型设计环节做为强制规范遵守。 分层规范 ODS: 贴源层,原始数据不做变化或者仅做最简单的补全后存入。 数据域划分,依据是数据源。 DWD: 对数据源做清洗、转换、补全、编码转换后加载到明细数据层。 数据域划分,依据
356
0
0
数仓重点
摘要:第一章 数据建模 1.1 建模工具 PowerDesigner SQLYog EZDML 1.2 ODS层 Operation Data Store,原始数据层 ODS做了那些事? (1)保持数据原貌不做任何修改,起到备份数据的作用。 (2)数据采用压缩(LZO),减少磁盘存储空间(例如:原始数据1
438
0
0
数据仓库(十)——ADS 层
摘要:建表说明 ADS层不涉及建模,建表根据具体需求而定。 第一章 访客主题 1.1 访客统计 该需求为访客综合统计,其中包含若干指标,以下为对每个指标的解释说明。 指标 说明 对应字段 访客数 统计访问人数 uv_count 页面停留时长 统计所有页面访问记录总时长,以秒为单位 duration_sec
1544
0
0
数据仓库(四)——数据仓库系统
摘要:第一章 数仓搭建-ODS层 1)保持数据原貌不做任何修改,起到备份数据的作用。 2)数据采用LZO压缩,减少磁盘存储空间。100G数据可以压缩到10G以内。 3)创建分区表,防止后续的全表扫描,在企业开发中大量使用分区表。 4)创建外部表。在企业开发中,除了自己用的临时表,创建内部表外,绝大多数场景
859
0
0
数据仓库(三)——数仓理论
摘要:第一章 数仓分层 1.1 为什么要分层 仓库分层 ODS层:原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理 DWD层:对ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据)、维度退化、脱敏等。保存业务事实明细,一行信息代表一次业务行为,例如一次下单。 DIM层:维度层
1017
0
0
数据仓库(二)——业务数据采集平台
摘要:一、电商业务简介 1.1 电商业务流程 电商的业务流程可以以一个普通用户的浏览足迹为例进行说明,用户点开电商首页开始浏览,可能会通过分类查询也可能通过全文搜索寻找自己中意的商品,这些商品无疑都是存储在后台的管理系统中的。 当用户寻找到自己中意的商品,可能会想要购买,将商品添加到购物车后发现需要登录,
525
0
0
数据仓库(一)——用户行为数据采集
摘要:# 一、数据仓库概念 数据仓库( Data Warehouse ),是**为企业制定决策,提供数据支持的**。可以帮助企业,改进业务流程、提高产品质量等。 数据仓库的输入数据通常包括:**业务数据**、**用户行为数据**和**爬虫数据**等 **业务数据**:就是各行业在**处理事务**过程中产生
2751
0
0
数据仓库
摘要:一、数据仓库概念 数据仓库(英语:Data Warehouse,简称数仓、DW),是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。 数据仓库本身并不“生产”任何数据,其数据来源于不同外部系统;同时数据仓库自身
445
0
0
点击右上角即可分享
微信分享提示
深色
回顶
收起