rsync基础

参考资料：骏马金龙的rsync系列。该博主的博文质量很好，推荐大家关注。

环境

操作系统：CentOS Linux release 7.5.1804 (Core)

软件：rsync  version 3.1.2  protocol version 31

 

前言

rsync可以实现scp的部分远程复制功能（支持本地到远程复制和远程到本地复制，但是不支持远程到远程复制；scp可以支持远程到远程复制）、cp的本地复制功能、rm的删除功能和“ls -l”的显示详细信息文件列表功能。

注意，rsync的初衷是实现两端主机之间的数据同步，上述功能只是作为辅助，并且其实现方式是与scp/cp/rm/ls这些命令不同的。

rsync有自己的一套算法以及算法实现机制，日常使用的话可以无需了解。但是，如果想要看懂rsync的man手册或者官方文档，想要通过-vvvv选项看懂rsync的执行过程，那么还是有必要了解rsync的原理的。

 

同步基础

同步涉及到了源文件（源主机、发送端）和目标文件（目标主机、接收端）、本地主机和远程主机、以及以哪边的主机上的文件为基准的概念。以谁为基准，就是以谁作为源文件。

  • 想让本地主机上的文件和远程主机上的文件保持同步。则以远程主机上的文件为基准（即作为源文件），将其拉取到本地主机覆盖本地主机的文件（即作为目标文件）。
  • 想让远程主机上的文件和本地主机上的文件保持同步。则以本地主机上的文件为基准（即作为源文件），将其推送到远程主机覆盖远程主机的文件（即作为目标文件）。
  • 本地主机和远程主机，既可以作为源主机/发送端，也可以作为目标主机/接收端，看具体的情况而定。

同步的过程，还涉及到其他的问题。

  • 是否删除源主机上没有但是目标主机上多出来的文件？
  • 目标文件的mtime比源文件的mtime更（gèng）新的时候，是否覆盖？
  • 遇到字符链接时，是同步字符链接本身还是其所指向的文件？即是否追踪字符链接文件？
  • 目标文件已存在时，是否做备份？
  • 等等其他情况。

上面这些操作，都是需要rsync来完成的，这也就是为什么在使用rsync的时候要求源和目标主机都需要安装有rsync程序包。

rsync的同步由检查模式和同步模式两部分构成。

检查模式

检查模式用于检查哪些文件应该被同步，哪些文件不应该被同步。比如--exclude选项排除了不应该被同步的文件。默认情况下，rsync使用quick check算法来检查源文件和目标文件的size（文件大小）与mtime。当size或者mtime不同的时候，就会判定文件应该被同步。

可以通过一些选项来修改检查模式，例如--size-only用于指明将仅检查文件的size而不检查mtime。

还有其他的选项也可以用于修改检查模式，弹性十足。

同步模式

同步模式用于处理上面所说的“是否删除本地主机上没有但是远程主机上多出来的文件？”之类的问题。同步模式也有许多选项可以指定，也是弹性十足。

一般情况下我们是修改同步模式，少数情况下才会修改检查模式，因为后者的修改容易引起性能的较大改动（例如--checksum）或者没有正确同步应该同步的文件（例如--size-only）。

 

三种工作方式

rsync有三种工作方式，即三种语法格式，如下。

Local:  rsync [OPTION...] SRC... [DEST]

Access via remote shell:
 Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
 Push: rsync [OPTION...] SRC... [USER@]HOST:DEST

Access via rsync daemon:
 Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
       rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
 Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
       rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
  1. 第一种方式是上述的Local部分，为本地主机内部的同步。
  2. 第二种方式是上述的remote shell部分，为不同主机通过远程shell实现同步。
  3. 第三种方式是上述的rsync daemon部分，为不同主机通过网络套接字实现同步。这种方式在指定daemon的时候有两种形式。有双冒号形式和URL形式，都是可以的，个人倾向于URL形式，比较不会和单冒号形式相似。前面演示的示例都是本地主机或者远程shell，最后再单独讲rsync daemon方式。

前两者的本质是基于管道；第三种是需要先在远程主机上运行一个daemon，监听在某个端口上，然后本地主机通过网络套接字与其通信。

还有一种特殊的方式，是基于远程shell连接上之后，在远程主机上临时运行一个daemon，当数据同步完毕后，daemon也会结束。这种方式的命令行语法类似rsync daemon模式，不同的点在于选项需要指明-e或者--rsh。

本文中我们将其称为“临时daemon”，注意，这只是个人对其称呼，非官方。

命令的参数可以有多个；当指定多个的时候，只有最后一个表示目标文件，其余都为源文件，目标文件若不存在则自动创建为目录，若存在则必须得是目录，否则报错。

[root@C7 ~]# file /tmp/1.txt 
/tmp/1.txt: empty
[root@C7 ~]# rsync /etc/fstab /etc/inittab /tmp/1.txt
ERROR: destination must be a directory when copying more than 1 file
rsync error: errors selecting input/output files, dirs (code 3) at main.c(623) [Receiver=3.1.2]

如果参数只有一个SRC的话，那么等同于“ls -l”。

[root@c7-client ~]# rsync /etc/fstab 
-rw-r--r--            487 2018/12/18 11:46:20 fstab
[root@c7-client ~]# rsync /etc/ssh/
drwxr-xr-x            225 2018/12/18 12:04:37 .
-rw-r--r--        581,843 2018/04/11 12:21:29 moduli
-rw-r--r--          2,276 2018/04/11 12:21:29 ssh_config
-rw-r-----            227 2018/12/18 12:04:37 ssh_host_ecdsa_key
-rw-r--r--            162 2018/12/18 12:04:37 ssh_host_ecdsa_key.pub
-rw-r-----            387 2018/12/18 12:04:37 ssh_host_ed25519_key
-rw-r--r--             82 2018/12/18 12:04:37 ssh_host_ed25519_key.pub
-rw-r-----          1,679 2018/12/18 12:04:35 ssh_host_rsa_key
-rw-r--r--            382 2018/12/18 12:04:35 ssh_host_rsa_key.pub
-rw-------          3,907 2018/04/11 12:21:29 sshd_config
[root@c7-client ~]# rsync root@192.168.17.7:/etc/fstab
root@192.168.17.7's password: 
-rw-r--r--            465 2018/09/27 15:49:45 fstab
[root@c7-client ~]# rsync root@192.168.17.7:/etc/ssh/
root@192.168.17.7's password: 
drwxr-xr-x            225 2018/09/27 17:28:23 .
-rw-r--r--        581,843 2018/04/11 12:21:29 moduli
-rw-r--r--          2,276 2018/04/11 12:21:29 ssh_config
-rw-r-----            227 2018/09/27 16:02:33 ssh_host_ecdsa_key
-rw-r--r--            162 2018/09/27 16:02:33 ssh_host_ecdsa_key.pub
-rw-r-----            387 2018/09/27 16:02:33 ssh_host_ed25519_key
-rw-r--r--             82 2018/09/27 16:02:33 ssh_host_ed25519_key.pub
-rw-r-----          1,679 2018/09/27 16:02:33 ssh_host_rsa_key
-rw-r--r--            382 2018/09/27 16:02:33 ssh_host_rsa_key.pub
-rw-------          3,905 2018/09/27 17:28:23 sshd_config

当使用远程shell的时候，会提示我们输入远程主机的用户密码。由于远程shell方式是基于SSH，因此可以事先配置好SSH的免密登录，这样就无需密码了。

[root@c7-client ~]# rsync root@192.168.17.7:/etc/fstab
-rw-r--r--            465 2018/09/27 15:49:45 fstab

本地主机文件和目录的复制，类似cp命令。

[root@c7-client ~]# rsync /etc/fstab /tmp/
[root@c7-client ~]# ls -l /etc/fstab /tmp/fstab 
-rw-r--r--. 1 root root 487 Dec 18 11:46 /etc/fstab
-rw-r--r--. 1 root root 487 Dec 19 19:04 /tmp/fstab
[root@c7-client ~]# rsync -r /etc/ssh /tmp/
[root@c7-client ~]# ls /{etc,tmp}/ssh/
/etc/ssh/:
moduli  ssh_config  sshd_config  ssh_host_ecdsa_key  ssh_host_ecdsa_key.pub  ssh_host_ed25519_key  ssh_host_ed25519_key.pub  ssh_host_rsa_key  ssh_host_rsa_key.pub

/tmp/ssh/:
moduli  ssh_config  sshd_config  ssh_host_ecdsa_key  ssh_host_ecdsa_key.pub  ssh_host_ed25519_key  ssh_host_ed25519_key.pub  ssh_host_rsa_key  ssh_host_rsa_key.pub

复制或者同步目录的时候，需要注意一点，如果源目录的末尾没有斜线，则表示将源目录整个复制到目标目录下，就如同上面的例子；

如果源目录的末尾有斜线，则表示将源目录下的内容复制到目标目录下，如下所示。

[root@c7-client ~]# rsync -r /etc/ssh/ testdir/
[root@c7-client ~]# ls /etc/ssh/ testdir/
/etc/ssh/:
moduli  ssh_config  sshd_config  ssh_host_ecdsa_key  ssh_host_ecdsa_key.pub  ssh_host_ed25519_key  ssh_host_ed25519_key.pub  ssh_host_rsa_key  ssh_host_rsa_key.pub

testdir/:
moduli  ssh_config  sshd_config  ssh_host_ecdsa_key  ssh_host_ecdsa_key.pub  ssh_host_ed25519_key  ssh_host_ed25519_key.pub  ssh_host_rsa_key  ssh_host_rsa_key.pub

远程shell之间的文件同步。

[root@c7-client ~]# rsync c7-client.txt root@192.168.17.7:/root/
[root@c7-client ~]# rsync root@192.168.17.7:/root/c7.txt .

远程shell之间的目录同步。

[root@c7-client ~]# touch testdir/rsync{1,2,3}.txt
[root@c7-client ~]# rsync -r testdir/ root@192.168.17.7:/root/
[root@C7 ~]# ls -l /root/rsync{1,2,3}.txt
-rw-r--r-- 1 root root 0 Dec 19 19:17 /root/rsync1.txt
-rw-r--r-- 1 root root 0 Dec 19 19:17 /root/rsync2.txt
-rw-r--r-- 1 root root 0 Dec 19 19:17 /root/rsync3.txt
[root@c7-client ~]# rsync -r root@192.168.17.7:/root/rrr .
[root@c7-client ~]# ls -l rrr/
total 0
-rw-r--r--. 1 root root 0 Dec 19 19:19 l.txt
-rw-r--r--. 1 root root 0 Dec 19 19:19 w.txt
-rw-r--r--. 1 root root 0 Dec 19 19:19 z.txt

 

选项与示例

-v, --verbose：用于显示同步中的详细信息，-vvvv可以显示更详细的信息，一般是用于排错的时候使用。v的个数越多，显示的信息越详细。

--partial：默认情况下，当传输中断的时候，rsync会将已传输一半的目标文件删除；如果使用该选项，则不会删除，这样子可以提高再次传输的速度，感觉类似于断点重传。

--progress：在同步的时候显示进度，类似如下。

782448  63%  110.64kB/s    0:00:04

-P：该选项是--partial和--progress的结合，当同步的时间较长（文件较大较多或者网络不佳）的时候，可以使用该选项。

-n, --dry-run：用于测试，不会真正执行同步操作，而是模拟真实操作，并且模拟真实的输出，常配合-v或者-vvvv来查看rsync是否执行正常。

-a, --archive：归档模式，等同于-rlptgoD，它保留了源文件的大部分元数据。但是它不包含-H选项，因为查找多链接的文件太消耗资源。

-r, --recursive：递归，用于同步目录。如果不加该选项，当源文件是一个目录的时候，会跳过，并返回被跳过的目录名称。

[root@C7 tmp]# rsync -v /foo/ /tmp/
skipping directory .

sent 16 bytes  received 12 bytes  56.00 bytes/sec
total size is 0  speedup is 0.00
[root@C7 tmp]# rsync -v /foo /tmp/
skipping directory foo

sent 16 bytes  received 12 bytes  56.00 bytes/sec
total size is 0  speedup is 0.00

这里从输出信息中也可以看出源文件如果是目录，那么末尾是否带斜线的差异。

[root@C7 tmp]# rsync -rv /foo/ /tmp/
sending incremental file list
bar/baz.c

sent 131 bytes  received 36 bytes  334.00 bytes/sec
total size is 0  speedup is 0.00

-t, --times：保留文件的mtime，由于rsync默认检查模式使用quick check算法，因此建议每次同步都应该使用-t或者-a选项，否则发送端每次都会将很可能是相同的文件加入文件列表，导致了系统资源的浪费。

-o, --owner：保留文件的属主。

-g, --group：保留文件的属组。

--chown=USER:GROUP：文件同步后修改目标文件的ownership。该选项其实等同于“--usermap=*:USER --groupmap=*:GROUP”。不过该选项的实现是内部调用了--usermap和--groupmap，因此该选项不可以与这两个选项混合使用。如果想要让--chown正常使用，不可缺少-o和-g选项。

-p, --perms：保留文件的读写执行权限，不包含其他特殊权限。

--chmod：文件同步后修改目标文件的权限。可根据文件是普通文件或者目录分别设置不同的权限。如果是普通文件则会加上前缀F，目录则会加上前缀D。用法类似如下。

--chmod=Dg+s,ug+w,Fo-w,+X
--chmod=D2775,F664

如果想要让--chown正常使用，不可缺少-o和-g选项。

因此，如果想要让--chown和--chmod都正常使用的话，使用-a选项即可！但是具体的原因目前未知，应该是rsync对待所有权（ownership）和权限（permission）的理解与我们人脑不同。

让我们来验证一下-togp选项的作用，在c7-client主机上创建了一个空文件rsync.txt，并设置了权限和ownership，然后同步至C7主机。可以发现同步后，文件的权限、所有权以及mtime都发生了改变。

[root@c7-client ~]# ls -l rsync.txt 
-rw-rw-rw-. 1 haimianbb haimianbb 0 Dec 25 10:06 rsync.txt
[root@c7-client ~]# rsync -v rsync.txt root@192.168.17.7:/tmp/rsync.txt
rsync.txt

sent 83 bytes  received 35 bytes  236.00 bytes/sec
total size is 0  speedup is 0.00
[root@C7 ~]# ls -l /tmp/rsync.txt 
-rw-r--r-- 1 root root 0 Dec 25 10:12 /tmp/rsync.txt

当我们使用了-togp选项之后，文件的权限、mtime和所有权都保持了。

[root@c7-client ~]# rsync -vtogp rsync.txt root@192.168.17.7:/tmp/rsync.txt
rsync.txt

sent 113 bytes  received 35 bytes  296.00 bytes/sec
total size is 0  speedup is 0.00
[root@C7 ~]# ls -l /tmp/rsync.txt
-rw-rw-rw- 1 haimianbb haimianbb 0 Dec 25 10:06 /tmp/rsync.txt

-D：等同于--devices和--specials的结合，用于同步字符设备、块设备以及特殊文件（socket）。

-l, --links：当遇到字符链接的时候，在远程主机上创建相同的字符链接文件。

默认情况下，字符链接文件是非普通文件，会被rsync跳过。

[root@C7 tmp]# cat /tmp/name.txt 
zhangwenlong
[root@C7 tmp]# ln -s /tmp/name.txt /tmp/name.link
[root@C7 tmp]# ls -l name.link 
lrwxrwxrwx 1 root root 13 Dec 25 17:32 name.link -> /tmp/name.txt
[root@C7 tmp]# rsync -v name.link /root/name.rsync
skipping non-regular file "name.link"

sent 43 bytes  received 54 bytes  194.00 bytes/sec
total size is 13  speedup is 0.13

使用-l选项就可以同步字符链接文件了，同步后的文件也是一个字符链接文件。

[root@C7 tmp]# rsync -vl name.link /root/name.rsync
name.link -> /tmp/name.txt

sent 60 bytes  received 19 bytes  158.00 bytes/sec
total size is 13  speedup is 0.16
[root@C7 tmp]# ls -l /root/name.rsync 
lrwxrwxrwx 1 root root 13 Dec 25 17:35 /root/name.rsync -> /tmp/name.txt
[root@C7 tmp]# cat /root/name.rsync
zhangwenlong

-z, --compress：传输之前是否对数据进行压缩。可以留意到压缩后，发送的字节数降低了。

[root@C7 tmp]# rsync -v /etc/inittab /tmp/inittab
inittab

sent 590 bytes  received 35 bytes  1,250.00 bytes/sec
total size is 511  speedup is 0.82
[root@C7 tmp]# rsync -vz /etc/inittab /tmp/inittab
inittab

sent 364 bytes  received 35 bytes  798.00 bytes/sec
total size is 511  speedup is 1.28

-R, --relative：使用相对路径。意味着会将命令行中完整的路径名称发送给远程主机，而不是只发送最后一部分的文件名。

我们先来看一下默认情况下的行为。复制/foo/bar/baz.c到/tmp/目录下的时候，仅会在/tmp/目录下创建baz.c文件。（从-v结果来看，应理解为仅将源文件“/foo/bar/baz.c”中的最后一部分“baz.c”加入了文件列表）

[root@C7 ~]# rsync -v /foo/bar/baz.c /tmp/
baz.c

sent 78 bytes  received 35 bytes  226.00 bytes/sec
total size is 0  speedup is 0.00

如果增加了-R选项。则是在/tmp/目录下创建了完整的目录结构。这是因为-R选项使得发送端rsync将整个源文件路径“/foo/bar/baz.c”加入了文件列表。

[root@C7 ~]# rsync -vR /foo/bar/baz.c /tmp/
/foo/
/foo/bar/
/foo/bar/baz.c

sent 128 bytes  received 41 bytes  338.00 bytes/sec
total size is 0  speedup is 0.00
[root@C7 ~]# tree /tmp/foo/
/tmp/foo/
└── bar
    └── baz.c

1 directory, 1 file

像“foo/”和“foo/bar/”这种额外的路径元素，我们就称其为隐式目录（implied  directories）。如果相对路径涉及到字符链接的话，可能会有特殊情况，要看一下man手册。

有的时候你可能只希望在接收端创建部分源文件路径，那么可以在源文件路径中插入一个“.”和“/”。

[root@C7 tmp]# rsync -vR /foo/./bar/baz.c /tmp/
bar/
bar/baz.c

sent 100 bytes  received 38 bytes  276.00 bytes/sec
total size is 0  speedup is 0.00

这样子相对路径就是从bar开始的了。

--size-only：修改rsync默认的quick check算法，仅检查两端文件大小。个人建议不要带上该选项，虽然检查的复杂度降低了，可能会提升性能，但是可能出现内容不同的文件没得到正确的同步，在特定的环境下可能造成严重的后果。

就像这个例子中所示，1.txt和2.txt明明文件内容不一致，却因为--size-only选项使得它们没有被同步。

[root@C7 tmp]# ls -l {1,2}.txt
-rw-r--r-- 1 root root 9 Dec 21 17:21 1.txt
-rw-r--r-- 1 root root 9 Dec 21 17:22 2.txt
[root@C7 tmp]# diff {1,2}.txt
1c1
< 12345678
---
> 87654321
[root@C7 tmp]# rsync -v --size-only {1,2}.txt

sent 39 bytes  received 12 bytes  102.00 bytes/sec
total size is 9  speedup is 0.18
[root@C7 tmp]# diff {1,2}.txt
1c1
< 12345678
---
> 87654321

-c, --checksum：修改rsync默认的quick check算法，通过检验码的方式检查两端的文件内容是否一致，生成校验码会引起两端产生大量的磁盘I/O，因此一般是不会启用该选项。

-u, --update：如果目标文件存在且mtime新于源文件的话，则跳过。如果目标文件存在且mtime等于源文件的话，则判断size，size同则不同步，size不同则同步。该选项是传输规则，并不是exclude，因此不会影响文件进入文件列表，因此不会影响目标文件上的删除操作。

-d, --dirs：用于拷贝目录本身，但是不会拷贝目录下的文件。有别于-r, --recursive。但是如果源文件是以“.”或者斜杠结尾的话，那么还是会将目录下的内容拷贝至目标文件。如果-r和-d同时使用的话，那么-r优先。

--max-size=SIZE：限制传输的文件的最大size。可以带上单位后缀“K、KiB、M、MiB、G、GiB”，这是以1024为乘数，如果想要以1000为乘数的话，则使用“KB、MB和GB”。大小写均可。

--min-size=SIZE：限制传输的文件的最小size。其他说明类似上面的--max-size，避免传输较小的文件或者垃圾文件。

--exclude=PATTERN：用于排除文件，被排除的文件不会被同步。涉及到man手册中的过滤规则（FILTER RULE）。后面会详述。

--exclude-from=FILE：排除文件，即当需要排除的PATTERN较多的时候，可以将每一个PATTERN都写入该文件中，每个PATTERN占一行。空行以及以“#”或者“;”开头的行会被忽略。FILE为“-”表示读取STDIN（标准输入）。

--delete：删除接收端中不存在于发送端的额外的文件，仅作用于那些已经同步了的目录。后面会详述。

-b, --backup：当目标文件已经存在的时候，同步操作即将覆盖或者同步操作（--delete）即将删除目标文件的时候，对其进行备份。

[root@C7 tmp]# rsync -vb /foo/bar/baz.c /tmp/
baz.c

sent 78 bytes  received 35 bytes  226.00 bytes/sec
total size is 0  speedup is 0.00
[root@C7 tmp]# ls -l /tmp/baz.c*
-rw-r--r-- 1 root root 0 Dec 21 17:28 /tmp/baz.c
-rw-r--r-- 1 root root 0 Dec 21 17:28 /tmp/baz.c~

即便反复执行，备份文件的文件名依然是“baz.c~”。

--backup-dir=DIR：指定备份文件的目录。默认的备份目录是在目标文件的当前目录。

若备份目录不存在，则会自动创建，并回显。

[root@C7 tmp]# rsync -vb --backup-dir=/tmp/back/ /foo/bar/baz.c /tmp/
(new) backup_dir is /tmp/back
baz.c

sent 78 bytes  received 69 bytes  294.00 bytes/sec
total size is 0  speedup is 0.00

备份文件会是/tmp/back/baz.c，它不带后缀，反复执行也依然是该文件。

--suffix=SUFFIX：指定备份文件的后缀。默认的备份后缀是“~”。

[root@C7 tmp]# rsync -vb --suffix=alongdidi /foo/bar/baz.c /tmp/
baz.c

sent 78 bytes  received 35 bytes  226.00 bytes/sec
total size is 0  speedup is 0.00

备份文件是/tmp/baz.calongdidi，反复执行的话也依然是该文件。

rsync的备份机制似乎不能递增，只能反复覆盖，感觉并没有什么卵用。

-e, --rsh=COMMAND：用于选择一个远程shell程序，现在所使用的一般都是SSH了（以前是RSH，但是RSH没有加密功能），所以一般是用于指定SSH的选项。

主要用于指定ssh的参数，以及用于临时daemon。

-e 'ssh -p 2234'
-e 'ssh -o "ProxyCommand nohup ssh firewall nc -w1 %h %p"'

--port=PORT：如果使用的rsync daemon的工作方式的时候，用于指定端口号，默认是873。

--password-file=FILE：用于指定rsync认证的密码文件。非SSH认证的密码。FILE可以为“-”表示读取STDIN。如果密码文件是全局可读，或者以root用户运行rsync但是密码文件的ownership不是root的话，那么rsync会退出。

--existing, --ignore-non-existing：告诉rsync，只更新目标文件中已存在的文件。

--ignore-existing：告诉rsync，只更新目标文件中不存在的文件。

创建了2个目录，目录结构如下。默认情况下，将a目录同步至b目录的话，除了会将a.txt加入文件列表中以外，还会将{1,2,3}.txt也加入文件列表中。

[root@C7 tmp]# tree {a,b}
a
├── 1.txt
├── 2.txt
├── 3.txt
└── a.txt
b
├── 1.txt
├── 2.txt
├── 3.txt
└── b.txt

0 directories, 8 files

如果我们只想同步接收端已存在的文件的话，则使用--existing选项。

[root@C7 tmp]# rsync -rv --existing a/ b/
sending incremental file list
1.txt
2.txt
3.txt

sent 235 bytes  received 73 bytes  616.00 bytes/sec
total size is 0  speedup is 0.00

如果我们只想同步接收端不存在的文件的话，则使用--ignore-existing选项。

[root@C7 tmp]# rsync -rv --ignore-existing a/ b/
sending incremental file list
a.txt

sent 157 bytes  received 35 bytes  384.00 bytes/sec
total size is 0  speedup is 0.00

--existing选项可以和--ignore-existing选项结合使用，结合使用的情况下不会同步任何文件，一般用于配合--delete选项实现在不传输任何数据的情况下，仅删除接收端的额外文件。

可以看一下单独使用--delete和结合使用的区别。

[root@C7 tmp]# rsync -rv --delete a/ b/
sending incremental file list
deleting b.txt
1.txt
2.txt
3.txt
a.txt

sent 274 bytes  received 101 bytes  750.00 bytes/sec
total size is 0  speedup is 0.00


[root@C7 tmp]# rsync -rv --existing --ignore-existing --delete a/ b/
sending incremental file list
deleting b.txt

sent 114 bytes  received 21 bytes  270.00 bytes/sec
total size is 0  speedup is 0.00

--remove-source-files：源文件如果同步成功，则将其删除。

[root@C7 tmp]# tree {a,b}
a
├── 1.txt
├── 2.txt
├── 3.txt
└── a.txt
b
├── 1.txt
├── 2.txt
├── 3.txt
└── b.txt

0 directories, 8 files
[root@C7 tmp]# rsync -rv --remove-source-files a/ b/
sending incremental file list
1.txt
2.txt
3.txt
a.txt

sent 274 bytes  received 124 bytes  796.00 bytes/sec
total size is 0  speedup is 0.00
[root@C7 tmp]# tree {a,b}
a
b
├── 1.txt
├── 2.txt
├── 3.txt
├── a.txt
└── b.txt

0 directories, 5 files

 

rsync的include/exclude模式

--exclude=PATTERN：rsync通过该选项来排除所不需要同步的文件。它是--filter选项的一种简写形式。

一个--exclude选项只能排除一个模式，如果要排除多个模式的话，可以在命令行中书写多次--exclude选项，或者将模式逐行写入文件中，然后使用--exclude-from引用该模式文件。

简单的示例如下。

[root@C7 tmp]# tree {a,b}
a
├── 1.txt
├── 2.txt
├── 3.txt
└── a.txt
b
├── 1.txt
├── 2.txt
└── 3.txt

0 directories, 7 files
[root@C7 tmp]# rsync -rv --exclude=a.txt a/ b/
sending incremental file list
1.txt
2.txt
3.txt

sent 215 bytes  received 73 bytes  576.00 bytes/sec
total size is 0  speedup is 0.00
[root@C7 tmp]# rsync -rv --exclude=a.txt a b/
sending incremental file list
a/
a/1.txt
a/2.txt
a/3.txt

sent 230 bytes  received 77 bytes  614.00 bytes/sec
total size is 0  speedup is 0.00

第二次同步的时候，如果不加--exclude选项，那么会同步以下：

  • a/
  • a/1.txt
  • a/2.txt
  • a/3.txt
  • a/a.txt

我们排除的模式是a.txt，模式没有以“/”开头或者结尾，那么只要传输整个名称中某个部分包含了a.txt，就会生效。因此，a/a.txt也被排除掉了。

排除的时候，模式的书写其实是一个难点。在man手册中有比较详细的描述，涉及到

  • 源文件如果是个目录，那么末尾是否带上斜线。
  • 是否使用相对目录的选项--relative。
  • 什么是传输中的根目录。
  • 模式是否以“/”开头。若是则涉及到锚定传输根的概念。
  • 模式是否以“/”结尾。若是则判定为目录。
  • 模式是否是无限制（unqualified）的，例如“foo”或者上述的“a.txt”。无限制指的是没有以“/”开头或者结尾。若是则匹配的灵活度是很大的。
  • 等等。

这个需要大家自行看一下man手册以及自己反复敲命令体验一下，一般是带上-avn选项来测试。

再来几个示例，首先我们先看一下目录a的层级结构。

[root@C7 tmp]# tree a/
a/
├── 1.txt
├── 2.txt
├── 3.txt
├── a.txt
├── index.php
└── public
    └── index.php

1 directory, 6 files

然后我们以测试的形式，同步a目录至b目录，注意此时同步的源目录a的末尾带上了斜线。首先我们看一下不带排除选项的话，会同步哪些文件。

[root@C7 tmp]# rsync -avn a/ b/
sending incremental file list
./
1.txt
2.txt
3.txt
a.txt
index.php
public/
public/index.php

sent 232 bytes  received 41 bytes  546.00 bytes/sec
total size is 0  speedup is 0.00 (DRY RUN)

源目录带上斜线，并且没有-R选项，这时候就已经确定了传输根了。即这个示例中的传输根是a/下开始。而不是a目录本身开始，更不是/tmp/a（案例中我的PWD目录是/tmp）开始。

这时候我们排除无限制的index.php。

[root@C7 tmp]# rsync -avn --exclude=index.php a/ b/
sending incremental file list
./
1.txt
2.txt
3.txt
a.txt
public/

sent 175 bytes  received 35 bytes  420.00 bytes/sec
total size is 0  speedup is 0.00 (DRY RUN)

无限制的匹配范围很大，只要整棵树/整个名称中包含了模式，就会生效。因此index.php和public/index.php都会排除掉。

接下来我们来一个有限制的，排除掉传输根下的index.php。

[root@C7 tmp]# rsync -avn --exclude=/index.php a/ b/
sending incremental file list
./
1.txt
2.txt
3.txt
a.txt
public/
public/index.php

排除模式不改变，通过修改源目录末尾的斜线，从而改变了传输根，再来看看变化。

[root@C7 tmp]# rsync -avn --exclude=/index.php a b/
sending incremental file list
a/
a/1.txt
a/2.txt
a/3.txt
a/a.txt
a/index.php
a/public/
a/public/index.php

sent 244 bytes  received 42 bytes  572.00 bytes/sec
total size is 0  speedup is 0.00 (DRY RUN)

这个时候想要再排除a目录下的index.php，就得输入--exclude=a/index.php或者--exclude=/a/index.php了。

如果模式末尾带上斜线，则表示这个模式匹配到的，一定得是一个目录。因为index.php不是目录，所以不会被排除了。

[root@C7 tmp]# rsync -avn --exclude=index.php/ a/ b/
sending incremental file list
./
1.txt
2.txt
3.txt
a.txt
index.php
public/
public/index.php

sent 232 bytes  received 41 bytes  546.00 bytes/sec
total size is 0  speedup is 0.00 (DRY RUN)

 --exclude用于排除，而--include用于包含。当同一个文件，既被排除又被包含的时候，要看哪个选项放在前面。先遇到先生效。

[root@C7 tmp]# rsync -avn --exclude=index.php --include=index.php a/ b/
sending incremental file list
./
1.txt
2.txt
3.txt
a.txt
public/
public/test.txt

sent 201 bytes  received 38 bytes  478.00 bytes/sec
total size is 0  speedup is 0.00 (DRY RUN)
[root@C7 tmp]# rsync -avn --include=index.php --exclude=index.php a/ b/
sending incremental file list
./
1.txt
2.txt
3.txt
a.txt
index.php
public/
public/index.php
public/test.txt

sent 261 bytes  received 44 bytes  610.00 bytes/sec
total size is 0  speedup is 0.00 (DRY RUN)

当include和exclude规则同时使用且使用了递归选项（-r或者-a）的时候，如果排除了某个文件的父目录（或者爷爷目录等更高层的目录），那么即便该文件被包含了并且include的规则放在最前面，该文件也仍然不会被同步。

[root@C7 tmp]# rsync -avn --include=public/index.php --exclude=public/ a/ b/
sending incremental file list
./
1.txt
2.txt
3.txt
a.txt
index.php

sent 162 bytes  received 34 bytes  392.00 bytes/sec
total size is 0  speedup is 0.00 (DRY RUN)

 

rsync的--delete选项

在选项与示例中我们已经解释了--delete选项的作用，在上文--existing和--ignore-existing结合使用的示例中我们也初次使用了它。

根据工作方式，即可删除本地主机上的文件，也可以删除目标主机上的文件。如果以一个空目录作为源文件的话，则会清空目标目录。

当--delete选项和--exclude选项同时使用的时候，被排除的文件不会被删除。我们来验证一下。

文件层级结构如下。

[root@C7 tmp]# tree test{1,2}
test1
├── 1.txt
├── 2.txt
└── 3.txt
test2
├── 1.txt
├── 2.txt
├── 3.txt
├── apple.jpg
├── icon.jpg
├── my.cnf
├── mysqld.log
└── pear.jpg

0 directories, 11 files

仅删除不排除的情况。

[root@C7 tmp]# rsync -rvn --delete test1/ test2/
sending incremental file list
deleting pear.jpg
deleting mysqld.log
deleting my.cnf
deleting icon.jpg
deleting apple.jpg
1.txt
2.txt
3.txt

sent 99 bytes  received 82 bytes  362.00 bytes/sec
total size is 0  speedup is 0.00 (DRY RUN)

增加排除的情况。可见被排除的模式，就不再会被删除了。

[root@C7 tmp]# rsync -rvn --delete --exclude=*.jpg test1/ test2/
sending incremental file list
deleting mysqld.log
deleting my.cnf
1.txt
2.txt
3.txt

sent 99 bytes  received 45 bytes  288.00 bytes/sec
total size is 0  speedup is 0.00 (DRY RUN)

验证无误，接下来我们来理解一下这是为什么。

rsync同步的过程中，发送端将需要传输的文件放入文件列表中（文件列表中的每一行我们称为条目），该文件列表会被传输给接收端。接收端的generator进程对每个条目计算数据块校验码（一个文件可以由多个数据块组成）并返回给发送端，发送端根据数据块校验码来判断哪些数据块应该被传输，这样就实现了rsync的增量传输功能——仅传输文件中不同的数据块，而非整个文件。

--exclude本质是一种筛选规则，如果某个文件被其指定了，那么该文件在加入文件列表的时候，会被标记为隐藏（hide）。

--delete删除的时间点是generator进程处理文件列表时、生成数据块校验码之前，这样子的好处是被--delete所删除的文件就不需要再去计算数据块校验码了。

小结一下：--exclude是在发送端创建文件列表的时候起作用；--delete是在文件列表已经生成并发送往接收端，在接收端才起作用。因此--exclude先于--delete。此时我们可能会认为，如果某个条目带有hide标记，则接收端会认为其不存在于发送端而将其删除，但是rsync却不是这么做。rsync还会将被--exclude的文件标记为保护（protect），防止其结合--delete使用的时候被误删除，如果确实要删除的话，可以使用--delete-excluded。

 

结语

本文目前只涉及到rsync的本地和远程shell的使用。daemon和临时daemon暂时没有涉及，如果将来在工作中有使用到的话可能会补上。已经在rsync上使用了较多的时间，暂时先告一段落，再次感谢博主：骏马金龙。

工作中主要是使用了rsync作为PHP代码部署的工具。结合排除功能与shell脚本，应该是可以满足一般的小企业了。

posted @ 2019-01-08 17:47  阿龙弟弟  阅读(2085)  评论(0)  编辑  收藏  举报
回到顶部