阿里巴巴大数据之路——数据管理篇
一、概述
数据管理主要分为:元数据管理、计算管理、存储和成本管理、数据质量管理
二、元数据
元数据主要分为两大类:技术元数据和业务元数据
技术元数据:
存储数据仓库技术细节的数据,包括:
存储元数据:表名、字段名、分区信息等
运行元数据:作业类型、SQL、运行参数等
开发元数据:数据同步、计算任务、任务调度等信息
监控元数据:告警配置、运行日志等信息
业务元数据:
纬度及属性、指标等的规范定义
数据产品等配置和运行元数据
数据管理主要分为:元数据管理、计算管理、存储和成本管理、数据质量管理
元数据主要分为两大类:技术元数据和业务元数据
技术元数据:
存储数据仓库技术细节的数据,包括:
存储元数据:表名、字段名、分区信息等
运行元数据:作业类型、SQL、运行参数等
开发元数据:数据同步、计算任务、任务调度等信息
监控元数据:告警配置、运行日志等信息
业务元数据:
纬度及属性、指标等的规范定义
数据产品等配置和运行元数据