数据治理

数据治理

数据地图

元数据采集

• 采集计划

  • 数据源连接

    • 库类型

      • HIVE
      • RDMS

    • 名字/描述

    • url/用户名/密码/端口/库名

  • 采集内容

    • 黑名单

    • 白名单

    • 自定义

      • 精确匹配
      • 模糊匹配

  • 运行计划

    • 频率
    • 时间
    • 日期
    • 增量/全量
    • 是否启用

元数据维护

• 库元数据

  • 库信息
  • 集群信息
  • 所属机构/部门
  • 是否下线
  • 描述

• 表元数据

  • 上线/下线

    • 上线/下线时间

    • 更新频率

    • 生命周期

      • 时间
      • 状态

    • 数据安全级别

      • 内部公开
      • 外部公开
      • 秘密
      • 绝密
      • 机密

  • 所属库

  • 主题分类

  • 字段补录

  • 责任部门/责任人

  • 数据变更时间

数据库目录

• 库
• 表
• 主题分类
• 表描述

数据资产

• 集群

• 库/表情况

• 库表趋势变化

  • 上线/下线
  • 机构/部门/主题
  • 库
  • 日周月

数据标准

主题分类

• 分类名/唯一编码/描述
• 创建人/创建时间

基础数据标准

• 基本业务信息

  • 名字

    • 中文名
    • 英文名
    • 英文缩写

  • 业务定义

  • 标准编码

  • 所属主题

  • 制定依据/制定依据来源

• 技术管理信息

  • 格式

    • 类型
    • 长度
    • 单位
    • 精度

  • 默认值

  • 上下限

  • 代码标准编码

  • 安全级别

  • 是否非空

  • 责任部门/责任人

命名标准

• 名字

  • 中文名
  • 英文名
  • 英文缩写

• 其他信息

  • 创建信息
  • 审核信息
  • 归属信息

代码标准

• 基本信息

  • 名字

    • 中文名
    • 英文名
    • 英文缩写

  • 业务定义

  • 标准编码

  • 所属主题

  • 责任部门

• 码值信息

  • 码值
  • 生效/失效时间
  • 描述

数据指标

指标管理

• 指标分类

• 业务属性

  • 指标编号

  • 指标名字

  • 指标分类

  • 业务定义

  • 统计口径计算公式

  • 统计口径业务规则(范围、条件、检验规则)

  • 生效/失效时间

  • 责任部门/责任人

  • 统计维度

    • 维度项1
    • 维度项2
    • 维度项......

• 技术属性

  • 基础指标

    • 指标格式

      • 格式
      • 单位
      • 长度
      • 精度

    • 统计时间

      • 统计频率

      • 统计时间点

      • 时间口径

        • t+0
        • t+1
        • t+2

    • 数据来源

      • 来源方式

        • 系统取数
        • 半手工
        • 纯手工加工
        • 外部数据源

      • 来源方式说明

    • 责任信息

  • 衍生指标

    • 基础指标引用

      • 基础指标
      • 责任部门/责任人

    • 指标格式

      • 格式
      • 单位
      • 长度
      • 精度

    • 统计时间

      • 统计频率

      • 统计时间点

      • 时间口径

        • t+0
        • t+1
        • t+2

    • 数据来源

      • 来源方式

        • 系统取数
        • 半手工
        • 纯手工加工
        • 外部数据源

      • 来源方式说明

    • 责任信息

• 审核信息

维度管理

• 维度分类

• 维度信息

  • 所属分类
  • 维度名
  • 维度描述
  • 关联指标

• 审核信息

数仓模型

数据库

• 新增
• 修改
• 删除

模型库

• 分类目录

• 新增模型

  • 模型基础信息

    • 模型名
    • 存储路径
    • 版本号

  • 模型关联关系

  • 模型创建信息

    • 所属部门
    • 创建人/创建时间
    • 修改人/修改时间

• 模型审批

模型

• 新增模型

  • 模型信息

    • 表名

    • 模型图

      • ER模型
      • 维度模型
      • 其他模型

    • 视图

• 导入模型

数据质量

质量扫描

• 扫描计划管理

  • 分类目录管理

  • 权限管理

  • 新增扫描计划

    • 扫描连接配置

      • 选择集群

      • 队列资源

      • 连接信息

        • 连接方式

          • hive
          • RDMS

        • 连接数据源

          • jdbc
          • 用户名
          • 密码
          • 数据库名

    • 扫描配置项

      • 表范围筛选

        • 库
        • 表

      • 触发设置

        • 定时触发

          • 天
          • 周
          • 月
          • 度
          • 年
          • 运行时间

        • 条件触发

          • 表记录数单次增长m%
          • 表记录数单词降幅n%
          • 表记录更新天数超过k天

      • 扫描规则

        • 表总记录数

          • 统计表的行数

        • 数量扫描

          • 空值
          • 非空
          • 重复值
          • 唯一值

        • 频度扫描

          • 重复值出现的频度情况

        • 数据类型扫描

          • 文本
          • 数值
          • 日期/时间

        • 长度扫描

          • 最小长度
          • 最大长度

        • 分位数扫描

          • 最大值
          • 最小值
          • 平均值
          • 1/4分位值
          • 中位数
          • 3/4分位值
          • 标准差

        • 其他扫描

          • 乱码
          • 内容摘要

• 数据更新日志

质量监控

• 规则模版管理

  • 内置模版

    • 表级
    • 字段级

  • 自定义模版

    • 表级

      • 参数名
      • 参数标识
      • 数据来源
      • 是否必填
      • 是否允许用户新增
      • 模版脚本

    • 字段级

      • 参数名
      • 参数标识
      • 数据来源
      • 是否必填
      • 是否允许用户新增
      • 模版脚本

• 监控点管理

  • 监控点信息

    • 监控点id
    • 监控点目录
    • 监控点集群
    • 监控点名称

  • 规则信息

    • 内置模版规则
    • 自定义模版规则

  • 管理调度作业

    • 任务名

    • 任务依赖

    • 调度周期

      • 天
      • 周
      • 月
      • 度
      • 年

    • 执行时间

    • hadoop用户/队列

    • 订阅

      • 订阅名
      • 订阅方式(邮件、短信、im)
      • 主送对象
      • 抄送对象

问题管理

• 基础信息

  • 问题报告
  • 问题描述
  • 问题标题
  • 问题状态

• 提交信息

  • 提交人
  • 提交时间

• 处理信息

  • 处理人
  • 处理时间
  • 处理要求

质量报告

• 接入数据质量评估报告

  • 机构/部门
  • 数据完整性40%
  • 数据及时性10%
  • 数据准确性50%
  • 数据质量综合指数
  • 指数变化趋势

• 标签数据质量评估报告

  • 库/表/字段信息
  • 质量综合评分
  • 规范性30%
  • 完整性15%
  • 准确性25%
  • 一致性10%
  • 时效性10%
  • 可访问性10%

标签管理

标签集市

• 标签类型
• 标签列表

标签制作

• 标签管理

  • 组合规则标签

    • 标签信息

      • 标签名称
      • 标签描述
      • 标签主题域
      • 标签分类

    • 调度信息

      • 手动

        • 调度周期

          • 天
          • 周
          • 月
          • 度
          • 年

        • 更新时间

        • 队列

        • 存储位置

        • 计算引擎

      • 自动

  • 统计值标签

  • 偏好类标签

  • 四则运算标签

  • sql标签

  • python标签

• 数据集

  • 常规数据集

    • hive
    • RDMS
    • excel

  • 行为数据集

    • kafka

• 数据源

用户洞察

• 用户画像

  • 模版管理

    • 模版信息

      • 模版名
      • 模版描述
      • 标签主题域
      • 画像维度
      • 图形
      • 标签源

  • 画像信息

    • 画像名称
    • 主题域
    • 标签组

  • 画像统计信息

• 客群管理

  • 组合规则创建

  • 客群上传

  • 已有客群创建

  • 客群拓展

    • 机器学习算法

• 客群集市

统一数据服务

API集市

• api信息

  • 中文名/英文名
  • 所属项目
  • 发布人/发布时间
  • 有效开始时间/结束时间

• 绑定api和应用

API开发

• 数据api

  • api信息

    • 基础信息
    • 数据源信息
    • 动态参数信息
    • sql语句
    • 排序参数
    • 分组参数

  • 监控运维

    • 调用次数
    • qps
    • 一异常次数
    • 响应时长

  • 配置下载

  • 审批进度

  • 下线api

• 代理api

• 数据源配置

应用管理

• 应用信息

流程预审

• api发布预审
• api调用预审
• api下线预审

策略管理

• 流控策略

  • 策略名称
  • 单位时间
  • 总调用限制次数
  • 单应用调用次数
  • 描述信息

• 访问策略

  • ip地址列表
  • 允许/禁止
  • 描述信息

系统管理

• 中间存储库配置

• 系统日志

  • 访问日志
  • 操作日志

• 调用日志

统一调度中心

任务管理

• 新增
• 暂停
• 下发
• 待运行
• 重跑
• 完成

权限管理

权限管理

用户管理

• 新增
• 删除
• 修改
• 禁用

角色管理

• 数据管理人员
• 数据审批人员
• 数据开发人员
• 数据分析人员