ES记录少于MYSQL记录问题排查

问题现象

前提：访问一个接口时，访问日志会插入到ES和MYSQL中

现象：生产环境MYSQL记录增加了8条，ES记录仅增加3条,如下：

 

问题初步分析

1）查看生产近期应用错误日志-无明显问题

2）查看生产ES错误日志-无明显问题

3）前往测试环境复现：单点访问，无记录缺失情况

怀疑高并发引起

用JMeter进行高并发模拟1000*1000发现仍然没问题

4）不死心，前往生产环境复现...

之前查询的是全量数据，换个方向，仅查今天数据：

MYSQL：

SELECT sum(number) FROM `xxx` where to_days(create_time)=to_days(now());

结果：

 

ES：

curl -X GET ip:port/linkvisit/_search?pretty -H 'Content-Type: application/json' -d '{"size":1,"query": {"range": {"visitTime": {"g
te": "2021-01-27 00:00:00" }}}}'

结果：

 

服了...数据一致

 

5）再查全量

MYSQL：

SELECT sum(number) FROM `xxx`;

结果：

 

ES：

curl -X GET ip:port/linkvisit/_search?pretty -H 'Content-Type: application/json' -d '{"query": {"size": 0}}'

结果：

明显增速还是不一致