大数据监控

      数据作为大数据系统的核心，需要进行监控，合理的监控与报警策略不但可以帮助我们快速发现和定位故障，而且还可以智能化的预测可能发生的问题。我们可以根据业务的规则制定重点的监控指标，保证数据具备高质量。

     在大数据的监控中，对数据质量进行监控是最为直接的。因为从数据使用者的角度来说，高质量的数据是指能够充分满足用户使用要求的数据。

      数据监控的本质是根据业务特点总结描述数据质量的指标，并对比这些指标的过去值与当前值。在当前值与过去值存在偏差时，需要排查和定位原因。主要关注一下4点：完整性、准确性、一致性和及时性。

完整性：数据的记录和信息是否完整，是否存在缺失的情况

准确性：数据中记录的信息是否准确，是否存在异常或错误的信息

一致性：同一指标在·不同的地方结果是否一致

及时性：保证数据能够及时的产出，才能体现数据的价值。

      常见的监控内控

1）以时间为维度对数据进行监控

2）对数据库中的null和0值进行监控

3）对数据的值域进行监控

当数据中的某字段出现了合理值域以外的值，我们遍可以肯定系统出现了问题

4）对数据的重复性进行监控

在某些业务中，对数据的唯一性进行监控是有必要的

5）对数据中的时间进行监控

数据是否会存在未来数据“数据穿越”

等等

 

数据表类的检查规则：

1）空值检查模板

该模板检查制定的字段中是否存在空值，当检查字段的空值比列超过阈值时，触发报警

2）值域检查模板

检查制定字段的值域是否在设置的区间或者序列中，当累计不符合该值域的数据比列超过设定的阈值时，触发报警

3）格式检查模板

该模板检查指定字段是否满足设定的格式类型，若不满足的比列超过报警阈值，则触发报警。

 4）唯一检查模板

5）精确度检查模板

6）数据集比对检查模板

7）自定义脚本检查模板

8）平衡性检查模板

9）表数据量波动检查模板

10）字段波动检查模板

 

工作流类的检查规则

 

1）完成时间点检查模板

完成时间点检查模板：该模板检查指定工作流任务是否在截止时间点前完成，若未完成，则触发报警

工作流类的检查规则主要解决离线任务的执行效率下不能满足业务对数据及时性的要求，通过监控配置规则，以保证数据在规定时间点生成。如果任务没有完成，则及时触发报警，从而保证数据在业务决策前已经生成

 

目录类的检查规则

以hadoop为中心的大数据生态，底层数据存储都是基于hdfs。基于数据存储路径的质量监控规则，通常用于发现主备集群数据不一致的问题，这也是保证数据质量的一种方式。该功能的核心：数据质量监控平台每天定时将主备集群的hdfs目录大小、路径等信息同步到mysql，当需要使用监控规则对某个目录进行监控时，可快速获取并能够进行比对检查。

1）目录大小波动检查模板

2）主备目录大小检查模板

该模板检查指定的主集群和备份集群的目录大小是否相等，如果不相等则触发报警

 

数据结构类的检查规则

针对表的字段个数、字段名、字段长度和字段类型等进行一致性检查。