POI数据变更校验

  变更校验:比较本次发布数据和上一次发布数据的变更,包括数据新增和下线,以及两次发布同时存在的数据字段的变更,当没有变更时名称、地址、坐标作为关键字段其变化率应少于1‰,如果变更多余该值则应该确认数据来源、策略是否有变更,且变更结果符合预期。

  变化维度:数值变更(变更范围);字段存续变更;POI存续变更

  变化体现:数据变更数据值大小,如果非数值类型可能体现为数据长短变化;

       字段存续是变更是指数据POI某个字段可能因为某种原因缺失,可能是正常也可能是因为字段产生过程数据丢失;

       POI存续是指poi的新增或者下线在两次发布中出现新增和丢失的情况;

  校验方式:

    1. 数值变更:数值不同数据校验方式不同,如经纬度字段,因为经纬度经度问题,其值每次取值会有不同,如果单纯因为字段取值不同进行判定则可能造成误报,按照经纬度取值经可以截取小数点后五位进行判定,或者将前后版本经纬度进行距离计算,如果距离在30米范围内可以认为位置没有变化;如果字段值为字段或者数组等结构体,甚至包含二级、三级的键值的时候那么比对将相对麻烦,尤其是结构体可能将值转为string类型时可能无法以通用的手段进行比较。此时可以根据字段配置表进行数据比较,比对到相对字段配置表指定的数据层级,将字段大小变更纳入比对策略。
    2. 字段存续变更:根据配置字段比较两个版本字段是否存在
    3. POI新增减少,只比POIid和上一版本的新增或者减少即可

  报警策略:三个校验的关键在于报警阈值的设定,根据多个版本的变化数据进行比较,获得数据报警阈值的。

  相应报警数据还需要报警后的问题分析,如数据变更范围,数据类型,数据变化较大的数据地理区域,数据分类,数据源组成方便问题定位分析

posted @ 2020-01-05 20:54  东临观海  阅读(473)  评论(0编辑  收藏  举报