logstash同步数据的时候,track_time取的是最小时间的问题
在做logstash同步数据的时候,sql如下:
发现这里的sql_last_value取的是数据库中的最小时间,导致每分钟做一次全量同步,而不是增量.
解决办法:
在sql后面加上order by i.updated_time
OK,更新成功.
但是同时也带来了新的问题,就是排序变了,这个数据结果顺序可能不是用户想要的.
目前折中的解决方案就是第一次先加上order排序,然后修改sql脚本,把排序取消,>=改成大于,这样每次执行同步的时候回往后偏移一个时间量.
注释:只有部分机器会遇到此问题,遇到了,就解决一下。