rsync
rsync
1. rsync简介
rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。
2. rsync特性
rsync支持很多特性：
- 可以镜像保存整个目录树和文件系统
- 可以很容易做到保持原来文件的权限、时间、软硬链接等等
- 无须特殊权限即可安装
- 快速：第一次同步时rsync会复制全部内容，但在下一次只传输修改过的文件。rsync在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽
- 安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接
- 支持匿名传输，以方便进行网站镜像
3. rsync的ssh认证协议
rsync命令来同步系统文件之前要先登录remote主机认证，认证过程中用到的协议有2种：
- ssh协议
- rsync协议
rsync server端不用启动rsync的daemon进程，只要获取remote host的用户名和密码就可以直接rsync同步文件
rsync server端因为不用启动daemon进程，所以也不用配置文件/etc/rsyncd.conf
ssh认证协议跟scp的原理是一样的，如果在同步过程中不想输入密码就用ssh-keygen -t rsa打通通道
//这种方式默认是省略了 -e ssh 的，与下面等价：
rsync -avz /SRC -e ssh root@172.16.12.129:/DEST
-a //文件宿主变化，时间戳不变
-z //压缩数据传输
//当遇到要修改端口的时候，我们可以：
rsync -avz /SRC -e "ssh -p2222" root@172.16.12.129:/DEST
//修改了ssh 协议的端口，默认是22
4. rsync命令
//Rsync的命令格式常用的有以下三种：
rsync [OPTION]... SRC DEST
rsync [OPTION]... SRC [USER@]HOST:DEST
rsync [OPTION]... [USER@]HOST:SRC DEST
源主机
[root@mr ~]# dnf -y install rsync
Failed to set locale, defaulting to C.UTF-8
Last metadata expiration check: 2:52:42 ago on Thu Sep 22 15:33:54 2022.
Package rsync-3.1.3-12.el8.x86_64 is already installed.
Dependencies resolved.
Nothing to do.
Complete!
目标主机
[root@localhost ~]# rpm -qa | grep rsync
[root@localhost ~]#
源主机
[root@mr ~]# ls
hehe
[root@mr ~]# rsync -a hehe haha
[root@mr ~]# ls
hehe haha
因为目标主机没有安装rsync，才会导致报错
[root@mr ~]# rsync -a haha root@192.168.29.138:/tmp/
The authenticity of host '192.168.29.138 (192.168.29.138)' can't be established.
ECDSA key fingerprint is SHA256:tdaE+LT4DQfPum+TPtyff/6nFxOqf7KPuDiVS5JRc3s.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added '192.168.29.138' (ECDSA) to the list of known hosts.
root@192.168.29.138's password:
bash: rsync: command not found
rsync: connection unexpectedly closed (0 bytes received so far) [sender]
rsync error: error in rsync protocol data stream (code 12) at io.c(226) [sender=3.1.3]
[root@mr ~]#
目标主机
[root@localhost ~]# ls /tmp/
systemd-private-9ec1545e3eef4502a46b97aa8affc4a5-httpd.service-Icu1Bi
systemd-private-9ec1545e3eef4502a46b97aa8affc4a5-mariadb.service-bDsu3S
systemd-private-9ec1545e3eef4502a46b97aa8affc4a5-php-fpm.service-h1dlnX
vmware-root_901-3988228452
[root@localhost ~]# dnf -y install rsync
Failed to set locale, defaulting to C.UTF-8
Repository extras is listed more than once in the configuration
Last metadata expiration check: 0:37:46 ago on Thu Sep 22 17:57:43 2022.
Dependencies resolved.
========================================================================================
Package Architecture Version Repository Size
========================================================================================
Installing:
rsync x86_64 3.1.3-19.el8 baseos 410 k
Transaction Summary
========================================================================================
Install 1 Package
Total download size: 410 k
Installed size: 825 k
Downloading Packages:
rsync-3.1.3-19.el8.x86_64.rpm 116 kB/s | 410 kB 00:03
----------------------------------------------------------------------------------------
Total 91 kB/s | 410 kB 00:04
Running transaction check
Transaction check succeeded.
Running transaction test
Transaction test succeeded.
Running transaction
Preparing : 1/1
Installing : rsync-3.1.3-19.el8.x86_64 1/1
Running scriptlet: rsync-3.1.3-19.el8.x86_64 1/1
Verifying : rsync-3.1.3-19.el8.x86_64 1/1
Installed products updated.
Installed:
rsync-3.1.3-19.el8.x86_64
Complete!
[root@localhost ~]#
源主机（源→目标）
[root@mr ~]# rsync -a haha root@192.168.29.138:/tmp/
root@192.168.29.138's password:
[root@mr ~]#
目标主机
[root@localhost ~]# ls /tmp/
haha
systemd-private-9ec1545e3eef4502a46b97aa8affc4a5-httpd.service-Icu1Bi
systemd-private-9ec1545e3eef4502a46b97aa8affc4a5-mariadb.service-bDsu3S
systemd-private-9ec1545e3eef4502a46b97aa8affc4a5-php-fpm.service-h1dlnX
vmware-root_901-3988228452
目标主机
[root@localhost ~]# ls /etc/yum.repos.d/
docker-ce.repo
源主机（源←目标）
[root@mr ~]# rsync -avz root@192.168.29.138:/etc/yum.repos.d/docker-ce.repo .
root@192.168.29.138's password:
receiving incremental file list
docker-ce.repo
sent 43 bytes received 356 bytes 159.60 bytes/sec
total size is 2,261 speedup is 5.67
[root@mr ~]# ls
haha hehe docker-ce.repo
//rsync常用选项：
| 参数 | 意义 | |
|---|---|---|
| -a | --archive | 归档 |
| -v | --verbose | 啰嗦模式 |
| -q | --quiet | 静默模式 |
| -r | --recursive | 递归 |
| -p | --perms | 保持原有的权限属性 |
| -z | --compress | 在传输时压缩，节省带宽，加快传输速度 |
| --delete | 在源服务器上做的删除操作也会在目标服务器上同步（只针对目录） |
5. rsync+inotify
rsync与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。
随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。基于以上原因，rsync+inotify组合出现了！Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。
在前面有讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。
环境说明：
| 服务器类型 | IP地址 | 应用 | 操作系统 |
|---|---|---|---|
| 源服务器 | 192.168.29.137 | rsync，inotify-tools，脚本 | centos7/redhat7 |
| 目标服务器 | 192.168.29.138 | rsync | centos7/redhat7 |
需求：
把源服务器上/etc目录实时同步到目标服务器的/tmp/下
目标主机：
[root@localhost ~]# systemctl disable --now firewalld
[root@localhost ~]# vi /etc/selinux/config
[root@localhost ~]# setenforce 0
[root@localhost ~]# getenforce
Disabled
[root@localhost ~]# vim /etc/rsyncd.conf
log file = /var/log/rsyncd.log # 日志文件位置，启动rsync后自动产生这个文件，无需提前创建
pidfile = /var/run/rsyncd.pid # pid文件的存放位置
lock file = /var/run/rsync.lock # 支持max connections参数的锁文件
secrets file = /etc/rsync.pass # 用户认证配置文件，里面保存用户名称和密码，必须手动创建这个文件
[etc_from_client] # 自定义同步名称
path = /tmp/ # rsync服务端数据存放路径，客户端的数据将同步至此目录
comment = sync etc from client
uid = root # 设置rsync运行权限为root
gid = root # 设置rsync运行权限为root
port = 873 # 默认端口
ignore errors # 表示出现错误忽略错误
use chroot = no # 默认为true，修改为no，增加对目录文件软连接的备份
read only = no # 设置rsync服务端为读写权限
list = no # 不显示rsync服务端资源列表
max connections = 200 # 最大连接数
timeout = 600 # 设置超时时间
auth users = admin # 执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开
[root@localhost ~]# touch /etc/rsync.pass
[root@localhost ~]# echo 'admin:123456' > /etc/rsync.pass
[root@localhost ~]# cat /etc/rsync.pass
admin:123456
[root@localhost ~]# chmod 600 /etc/rsyncd.pass
[root@localhost ~]# ll /etc/rsync.pass
-rw------- 1 root root 13 Sep 22 22:14 /etc/rsyncd.pass
[root@localhost ~]# dnf -y install rsync-daemon
[root@localhost ~]# systemctl enable --now rsyncd
Created symlink /etc/systemd/system/multi-user.target.wants/rsyncd.service → /usr/lib/systemd/system/rsyncd.service.
[root@localhost ~]# systemctl enable rsyncd
[root@localhost ~]# systemctl status rsyncd
● rsyncd.service - fast remote file copy program daemon
Loaded: loaded (/usr/lib/systemd/system/rsyncd.service; enabled; vendor preset: disa>
Active: active (running) since Thu 2022-09-22 22:18:13 CST; 1min 12s ago
Main PID: 525868 (rsync)
Tasks: 1 (limit: 12221)
Memory: 272.0K
CGroup: /system.slice/rsyncd.service
└─525868 /usr/bin/rsync --daemon --no-detach
Sep 22 22:18:13 localhost.localdomain systemd[1]: Started fast remote file copy program>
[root@localhost ~]#
源服务器
[root@mr ~]# systemctl disable --now firewalld
[root@mr ~]# vim /etc/selinux/config
SELINUX=disabled
[root@mr ~]# setenforce 0
[root@mr ~]# rpm -qa | grep rsync
rsync-3.1.3-12.el8.x86_64
[root@mr ~]# echo '123456' > /etc/rsync.pass
[root@mr ~]# cat /etc/rsync.pass
123456
[root@mr ~]# chmod 600 /etc/rsync.pass
[root@mr ~]# ll /etc/rsync.pass
-rw------- 1 root root 7 Sep 22 22:23 /etc/rsync.pass
[root@mr ~]# mkdir -pv /root/etc/test
mkdir: created directory '/root/etc'
mkdir: created directory '/root/etc/test'
[root@mr ~]#rsync -avH --port 873 --progress --delete /root/etc/ admin@192.168.29.138::etc_from_client --password-file=/etc/rsync.pass
sending incremental file list
deleting vmware-root_901-3988228452/
deleting systemd-private-9ec1545e3eef4502a46b97aa8affc4a5-php-fpm.service-h1dlnX/tmp/
deleting systemd-private-9ec1545e3eef4502a46b97aa8affc4a5-php-fpm.service-h1dlnX/
deleting systemd-private-9ec1545e3eef4502a46b97aa8affc4a5-mariadb.service-bDsu3S/tmp/
deleting systemd-private-9ec1545e3eef4502a46b97aa8affc4a5-mariadb.service-bDsu3S/
deleting systemd-private-9ec1545e3eef4502a46b97aa8affc4a5-httpd.service-Icu1Bi/tmp/
deleting systemd-private-9ec1545e3eef4502a46b97aa8affc4a5-httpd.service-Icu1Bi/
deleting haha
./
test/
sent 77 bytes received 530 bytes 1,214.00 bytes/sec
total size is 0 speedup is 0.00
[root@mr ~]#echo 'hello world' > etc/abc
[root@mr ~]# cat etc/abc
hello world
[root@mr ~]#rsync -avH --port 873 --progress --delete /root/etc/ admin@192.168.29.138::etc_from_client --password-file=/etc/rsync.pass
sending incremental file list
./
abc
12 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=2/4)
haha
12 100% 11.72kB/s 0:00:00 (xfr#2, to-chk=1/4)
sent 230 bytes received 66 bytes 592.00 bytes/sec
total size is 24 speedup is 0.08
目标主机
[root@localhost ~]# ls /tmp/
abc haha test
[root@localhost ~]# cat /tmp/abc
hello world
源主机
[root@mr ~]# dnf list all | grep inotify
Failed to set locale, defaulting to C.UTF-8
python3-inotify.noarch 0.9.6-13.el8 @anaconda
inotify-tools.x86_64 3.14-19.el8 epel
inotify-tools-devel.x86_64 3.14-19.el8 epel
python3-inotify_simple.noarch 1.3.4-1.el8 epel
rubygem-rb-inotify.noarch 0.10.0-1.el8 epel
rubygem-rb-inotify-doc.noarch 0.10.0-1.el8 epel
[root@mr ~]# dnf -y install inotify-tools
[root@mr ~]# ll /proc/sys/fs/inotify/
total 0
-rw-r--r-- 1 root root 0 Sep 22 22:58 max_queued_events
-rw-r--r-- 1 root root 0 Sep 22 22:58 max_user_instances
-rw-r--r-- 1 root root 0 Sep 22 22:58 max_user_watches
[root@mr ~]# mkdir /scripts
[root@mr ~]# cd /scripts/
[root@mr scripts]# touch inotify.sh
[root@mr scripts]# chmod +x inotify.sh
[root@mr scripts]# ls
inotify.sh
[root@mr scripts]# ll
total 0
-rwxr-xr-x 1 root root 0 Sep 22 23:00 inotify.sh
[root@mr scripts]# vim inotify.sh
host=192.168.29.138 # 目标服务器的ip(备份服务器)
src=/etc # 在源服务器上所要监控的备份目录（此处可以自定义，但是要保证存在）
des=etc_from_client # 自定义的模块名，需要与目标服务器上定义的同步名称一致
password=/etc/rsync.pass # 执行数据同步的密码文件
user=admin # 执行数据同步的用户名
inotifywait=/usr/bin/inotifywait
$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files;do
rsync -avzP --delete --timeout=100 --password-file=${password} $src $user@$host::$des
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
[root@mr ~]# ll /etc/rc.local
lrwxrwxrwx. 1 root root 13 Dec 2 2020 /etc/rc.local -> rc.d/rc.local
[root@mr ~]# ll /etc/rc.d/rc.local
-rw-r--r--. 1 root root 474 Dec 2 2020 /etc/rc.d/rc.local
[root@mr ~]# chmod +x /etc/rc.d/rc.local
[root@mr ~]# ll /etc/rc.d/rc.local
-rwxr-xr-x. 1 root root 474 Dec 2 2020 /etc/rc.d/rc.local
[root@mr ~]# vim /etc/rc.local
nohup /bin/bash /scripts/inotify.sh
[root@mr ~]# /scripts/inotify.sh &
[1] 262995
[root@mr ~]# ps -ef | grep inotify
root 262996 262995 0 23:13 pts/2 00:00:00 /usr/bin/inotifywait -mrq --timefmt %Y%m%d %H:%M --format %T %w%f%e -e modify,delete,create,attrib /etc
root 263145 200992 0 23:13 pts/2 00:00:00 grep --color=auto inotify
[root@mr ~]# touch /etc/123
[root@mr ~]# sending incremental file list
etc/
etc/.pwd.lock
0 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=912/914)
etc/.updated
208 100% 0.00kB/s 0:00:00 (xfr#2, to-chk=911/914)
etc/123
0 100% 0.00kB/s 0:00:00 (xfr#3, to-chk=910/914)
etc/DIR_COLORS
......
sent 29,563 bytes received 291 bytes 59,708.00 bytes/sec
total size is 22,579,453 speedup is 756.33
[root@mr ~]#
目标主机
[root@localhost tmp]# ls
abc etc haha test
[root@localhost tmp]# ls etc/123
etc/123
源主机
[root@mr ~]# rm -f /etc/123
[root@mr ~]# sending incremental file list
deleting etc/123
etc/
sent 29,543 bytes received 305 bytes 59,696.00 bytes/sec
total size is 22,579,453 speedup is 756.48
[root@mr ~]#
目标主机
[root@localhost tmp]# ls etc/123
ls: cannot access 'etc/123': No such file or directory
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· Manus爆火，是硬核还是营销？
· 终于写完轮子一部分：tcp代理 了，记录一下
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· 别再用vector＜bool＞了！Google高级工程师：这可能是STL最大的设计失误
· 单元测试从入门到精通