摘要：
一、视图 视图定义 视图是从一个或几个基本表（或视图）中导出的虚拟的可视化的表。在系统的数据字典中仅存放了视图的定义，不存放视图对应的数据。 视图特点 安全：有的数据是需要保密的，如果直接把表给出来进行操作会造成泄密，那么可以通过创建视图把相应视图的权限给出来即可保证数据的安全。 高效：复杂的连接查 阅读全文
摘要：
一、基本概念 及 优缺点 数据库索引，是数据库管理系统中一个排序的数据结构，以协助快速查询、更新数据库表中数据。 索引的实现通常使用B树及其变种B+树。 为表设置索引要付出代价的：一是增加了数据库的存储空间，二是在插入和修改数据时要花费较多的时间(因为索引也要随之变动)。 创建索引可以大大提高系统的 阅读全文
摘要：
一、概念 数据完整性：存储在数据库中的所有数据值均正确的状态。 完整性约束：防止不符合规范的数据进入数据库，在用户对数据进行插入、修改、删除等操作时，DBMS自动按照一定的约束条件对数据进行监测，使不符合规范的数据不能进入数据库，以确保数据库中存储的数据正确、有效、相容。 二、分类 1. 实体完整性 阅读全文
摘要：
一、监控 1.日常监控 数据落地监控 数据掉0监控：实际扩展一下就是数据量阈值监控，少于某个量就告警 重复数据监控：很多表一定要监控重复数据的，这点至关重要。 关键指标监控 数据同比环比监控 2. 数据对账 这点主要会体现到实时数据上，特别是Kafka数据落地，必须要有一个监控机制来知道我们的数据落 阅读全文
摘要：
原文：点击这里 数据仓库元数据管理 一、元数据的定义 元数据（metadata） 即数据的数据，是描述数据仓库结构和数据仓库建立方法的数据，主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过元数据资料库（Metadata Repository） 阅读全文
摘要：
数据采集 数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些ETL操作。 数据源种类可以有多种： 日志：所占份额最大，存储在备份服务器上业务数据库(RDBMS)：如Mysql、Oracle来自HTTP/FTP的数据：合作伙伴提供的接口其他数据源：如Excel等需要手工 阅读全文