02 2023 档案
摘要：介绍 触发器是一种特殊的存储过程它不能被显式地调用，而是insert，update，delete之前或之后被自动地激活。所以触发器可以用来实现对表实施复杂的完整性约束，这种特性可以协助应用系统在数据库端确保数据的完整性，日志记录，数据校验等操作，通过使用别名NEW和OLD来引用触发器中发生变化的内容
阅读全文
摘要：ETL的架构 ETL架构的优势： ETL相对于EL-T架构可以实现更为复杂的数据转化逻辑 ETL采用单独的硬件服务器,可以分担数据库系统的负载 ETL与底层的数据库数据存储无关，可以保持所有的数据始终在数据库当中，避免数据的加载和导出，从而保证效率，提高系统的可监控性。 ELT主要通过数据库引擎来实
阅读全文
摘要：ETL转换过程 ETL探求之一中提到，ETL过程最复杂的部分就是T，这个转换过程，T过程究竟有哪些类型呢？ 宏观输入输出 从对数据源的整个宏观处理分，一个ETL过程的输入输出，可以分成下面几类： 1、大小交 这种处理在数据清洗过程是常见了，例如从数据源到ODS阶段，如果数据仓库采用维度建模，而且维度
阅读全文
摘要：ETL 系统核心特征 数据重跑及其优化 重跑的场景 | 场景 | 导致原因 | 影响 | | | | | | kafka consumer poll消息失败 | 1. 网络问题；2. kafka broker 磁盘坏道，拉取消息一直失败或其他 kafka 原因 | 导致一个或多个topic&part
阅读全文
摘要：ETL工具的特点 ETL本身特点在各类工具中都有所体现，下面以datastage和powermart举例来说。 1、静态的ETL单元和动态的ETL单元实例 **一次转换指明了某种格式的数据如何格式化成另一种格式的数据，对于数据源的物理形式在设计时可以不用指定，它可以在运行时，当这个ETL单元创建一个
阅读全文
摘要：ETL概念之介绍 ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL 一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽
阅读全文
