大数据如何做验证数据正确性

最近在测试实时日志检索系统，有些服务日志流量较大，顶峰有15w/s的流量，日流有70亿。如何验证检索数据的正确性呢？两个方面，1、检索结果中的数据格式检验 2、检索结果中的数据量是否符合检索条件

对于小流量服务的测试方案是通过http请求来构造日志数据，结合grafana对http请求数的监控来实时获取实际产生的日志数据，然后对比日志检索服务搜索出来的数据，通过这样的方式来验证检索数据的正确性

但是对于大流量服务，因为测试环境也不支持构造如此大tps的场景。因此我们选择了一下两种方案：

1、样本数据检测。每隔一段时间汪线上的真实数据中注入测试日志数据，统计日志检索服务搜索结果中的样本数据，然后和实际构造的样本数据进行数量以及格式的对比

2、参考历史数据。假设待测服务已经上线半年以上了，已经对该服务的日志流量做了线上监控，历史数据已知。此时我只需要对比日志检索服务搜索出来的数据和历史数据做对比