logstash同步数据的时候,track_time取的是最小时间的问题

在做logstash同步数据的时候,sql如下:

 

发现这里的sql_last_value取的是数据库中的最小时间,导致每分钟做一次全量同步,而不是增量.

解决办法:

在sql后面加上order by i.updated_time

 

 

 OK,更新成功.

 

但是同时也带来了新的问题,就是排序变了,这个数据结果顺序可能不是用户想要的.

目前折中的解决方案就是第一次先加上order排序,然后修改sql脚本,把排序取消,>=改成大于,这样每次执行同步的时候回往后偏移一个时间量.

 

注释:只有部分机器会遇到此问题,遇到了,就解决一下。

 

posted @ 2020-06-09 15:25  红嘴鲤鱼  阅读(694)  评论(0编辑  收藏  举报