数据治理--政务行业项目 数据治理全流程,模板图片 各种规范 非常有用

 

 责任清单 

 

 

 

 

 

 

 

 数据接入后做数据标准和清洗

数据格式错误,记录数为空,数据重复,数据不准确,字段命名不统一

 

 数据标准主要是:元数据,分类与编码,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 数据标准化

 下一步：数据质量 主要是为了检查是否按照数据标准去做的

 

 稽核报告

 

 

 空值,准确性,格式,唯一性,一致性.

 

 

 

 

 

 

 

 

 

 

 

 

 

 基础信息用主题建模.例如各种详细信息表.  统计数据的用纬度建模方式

 

 只需要一个统计日为类似主键,下面全是纬度

 

 

 建表工具

 和业务密切相关的做切片表,例如用户表和客户表

 

 

 

 用拉链表的情况比较少，大多数用第二种切片的方式

 脚本处理工具

 

 

 

 

 

 数据资产

 

 

 

 

 

 

 

 

 

 

 

 技术架构

数据接入通过sqoop,数据库直连

对外提供数据接口是在hive上开发presto的API提供服务的

元数据检索放到ES里