rsync 增量同步总是多两行数据
从google云机器rsync日志到本地,并通过logstash格式化后存入elasticsearch,但在实施过程中发现,每次rsync后通过查看elasticsearch,都会将上次已同步的数据再次同步并写入,这样就会有很多重复数据。
解决方案:
rsync 客户端同步时增加--inplace --no-whole-file
--inplace:将文件原地替换,因为rsync通常会写一个临时文件,然后移动
--no-whole-file: 告诉rsync不要复制整个文件,而是使用deltas(部分传输)
rsync原理参考:https://www.cnblogs.com/f-ck-need-u/p/7226781.html?utm_source=itdadao&utm_medium=referral