rsync 增量同步总是多两行数据

从google云机器rsync日志到本地,并通过logstash格式化后存入elasticsearch,但在实施过程中发现,每次rsync后通过查看elasticsearch,都会将上次已同步的数据再次同步并写入,这样就会有很多重复数据。

解决方案:

rsync 客户端同步时增加--inplace --no-whole-file

--inplace:将文件原地替换,因为rsync通常会写一个临时文件,然后移动

--no-whole-file: 告诉rsync不要复制整个文件,而是使用deltas(部分传输)

rsync原理参考:https://www.cnblogs.com/f-ck-need-u/p/7226781.html?utm_source=itdadao&utm_medium=referral

posted @ 2019-11-18 14:48  sunshine_5  阅读(497)  评论(0编辑  收藏  举报