随笔分类 - 【1487 阿里平台】
摘要：1.元数据定义 元数据（ Metadata ）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。 元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。 2.元数据价值 数据的真正价值在于数据驱动决策，通过数
阅读全文
摘要：维度是维度建模的基础和灵魂。在维度建模中，将度量称为“事实” ，将环境描述为“维度”，维度是用于分析事实所需要的多样环境。 维度所包含的表示维度的列，称为维度属性。维度属性是查询约束条件、分组和报表标签生成的基本来源。 例如，在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的环境。
阅读全文
摘要：存储管理追求目标：有效降低存储资源消耗，节省存储成本。用最少存储成本满足最大化业务需求，使数据价值最大化。 1.生命周期管理 数据的生命周期管理是存储管理的一项重要手段。 通过生命周期管理矩阵可以保证存储最大化利用。 1.1生命周期管理策略 （1）删除策略 周期性删除：所存储的数据都有一定的有效期，
阅读全文
摘要：计算平台追求目标：如何降低计算资源的消耗，提高任务执行的性能，提升任务产出的时间。 1.系统优化 1.1 HBO (History-Based Optimiz町， 基于历史的优化器） 系统中存在大量的周期性调度的脚本（物理计划稳定），且这些脚本的输入一般比较稳定。根据任务的执行历史为其分配更合理的计
阅读全文
摘要：1.大数据系统建设追求目标 建设高效的数据模型和体系， 对这些数据进行有序和有结构地分类组织和存储，避免重复建设和数据不一致性，保证数据的规范性。 2.阿里巴巴OneData OneData 是阿里巴巴内部进行数据整合及管理的方法体系和工具。在这一体系下，构建统一、规范、可共享的全域数据体系，避免数
阅读全文
摘要：1、为什么要建模意义 图书，希望分门别类摆放，电脑桌面上文件希望是自己习惯组织方式。 数据模型：数据组织和存储方法。强调从业务、存取和使用角度合理存储。（烂程序员关心代码，好的程序员关系数据结构和他们间的关系） 重要性： （1）性能：快速查询、减少IO。 （2）成本：降低计算和存储成本（减少数据冗余
阅读全文
