数据治理--政务行业项目 数据治理全流程,模板图片 各种规范 非常有用
责任清单
数据接入后做数据标准和清洗
数据格式错误,记录数为空,数据重复,数据不准确,字段命名不统一
数据标准主要是:元数据,分类与编码,
下一步:数据质量 主要是为了检查是否按照数据标准去做的
稽核报告
空值,准确性,格式,唯一性,一致性.
基础信息用主题建模.例如各种详细信息表. 统计数据的用纬度建模方式
只需要一个统计日为类似主键,下面全是纬度
建表工具
和业务密切相关的做切片表,例如用户表和客户表
用拉链表的情况比较少,大多数用第二种切片的方式
脚本处理工具
数据资产
技术架构
数据接入通过sqoop,数据库直连
对外提供数据接口是在hive上开发presto的API提供服务的
元数据检索放到ES里