数据质量,中国希望
作为一个忧国忧民的宅男屌丝草根屁民,以及有点文艺,以致于会把“天下兴亡匹夫有责”作为自己座右铭的某类青年,在数据爆炸、信息爆炸、知识爆炸、资讯爆炸的时代,大量的信息让我每天都在像齐秦那般问天问大地,到底我们这个社会是怎么了?这些问题每天都在梦魇中折磨我,在睡前醒后提醒我。
窒息的灰霾让首都到处都是咳人,大家都很咳气;国人都涌向香港,冒着坐监2年的危险,抢购好奶粉……
生活中,我们每天都充斥着这种资讯。作为一个数据工作者,我深深知道,这不仅是我们的空气质量出了问题,也不仅是我们的奶粉质量出了问题,这一切,是因为我们的数据质量出了问题。是因为我们的政府和企业没有定期的体检,所以才会出现一个个的心脏病、癌症晚期等重大疾病。
数据质量工具就像一家体检机构。如果数据是身体,信息是大脑,那么,数据质量作为体检机构,不光会做身体体检,还会做精神扫描,看思想是否健康。
同理,一个政府部门,一家企业,业务数据和业务信息都需要定期体检才行。有些数据按年检查,有些按月,有些按天,有些按小时,有些数据则要精确到按分钟,甚至按秒为单位来检查。
首先要检查数据本身是否合法,有否脏数据,协同部门的数据是否一致,数据的完整性、冗余率、维度有效率如何......
更重要的是,还需要检查企业的KPI指标,业务状况,核心业务流程的运行状况,诸如此类。跟企业高层决策紧密相关的业务有否异常,或者系统能否提前报告这些业务的异常走势,一个异常可能会导致哪些后续环节出现连动异常。
为了实现这个目标,我们会根据企业的内部业务,定制很多检查规则。这些检查规则,有些是检查数据的,有些是检查业务流程和业务指标的。我们需要按周期执行,并根据一些监控算法,随时监控运行情况。这就是所谓的身体体检和大脑体检。
我们不光要实时对企业进行体检,还得做出让人能够很容易看懂的体检报告,也就是数据可视化,信息可视化。要让决策者能够像一目了然整个企业的运转情况。而且,还会随时发布预警并提供企业各条业务线状态的全景视图。
我们的政府以及我们某些企业,因为不重视数据资产,更加不重视数据质量,而是选择了不作为,任由事态发展失控,很多重大问题没能够提早避免。
假如有一天,我们的政府和企业开始重视数据,重视元数据,重视数据质量,重视数据质量监控,重视数据告警,重视数据分析,重视数据标准…假如中国的数据有了质量,我想,那或许就是传说中的和谐社会了。
当然,事情远没有想象这么简单。面对利益,人类的创造力总是无穷的。当下,要推广数据质量系统,最大的问题是,我们的政府和企业是否有意愿来改善数据质量,就像两桶油是否有主观意愿来提高油品一样。有些人会认为数据质量的引入会给自己带上镣铐
阳光是最好的防腐剂。我想,有智慧的政治家和企业家,一定会认识到数据的重要性,一定会认识到数据质量的重要性。
数据质量就是奶粉质量,数据质量就是服务质量。
数据质量就是我们全体中国人的人品质量。
数据质量,企业希望。
数据质量,中国希望。