数据测试

数据测试

  • 前提：数据质量标准

  • 方法：数据测试方法

  • 效率：自动化/工具开发

 

  1. 前提：数据质量标准：阿里标准

  • 标准：由两部分构成，用户可见标准/研发体系的标准
    • 用户可见：功能性（及时/完整/准确）+易用性（可用/需要）
    • 研发体系：可靠/稳定（可迁移/可扩展/可修改/容错性）+安全性（数据安全）+容灾性+效率
    • 测试负责范围：功能性+容灾性验证---评估（可靠稳定+安全+效率）
    • 测试工作：输入数据构造/输出数据校验/执行时机/核心SQL SR　　
      • 输入数据构造：一般是不需要构造需要输入数据的，可以利用线上快照数据；但是当业务对数据很敏感的时候就需要构造数据，构造敏感数据是相对比较困难的，需要对业务的了解；
      • 输出数据校验：功能性校验：
        • 及时性校验相对较简单：根据一定时间内的数据条数就能确定；
        • 完整性校验：多数据/数据少了考虑；重复数据条数/主键唯一（多），数据条数缺失，字段值缺失，空值，不了数据情况下根据数据条数的历史波动评估（少）；
        • 准确性校验：很难校验，只能做相对评估；
          • （值自身）：根据取值范围（比例和值100%），根据逻辑关系（pv>uv）,根据经验（pv/click<某个值）；
          • 时间维度（不同时间）：同一批数据，相同参数/类型数据（历史数据波动情况评估，）；数据一致性评估，历史数据一致性；不同批次，线上线下数据对比；
          • 空间维度：上下游数据一致性检查，系统内数据关联的话，不同模块的数据对比，与系统外数据关联的话也可以对比；
posted @ 2020-08-12 14:10  丶gavin  阅读(1699)  评论(0)  编辑  收藏  举报