Linux远程同步rsync
一、前言
scp 是 secure copy 的缩写, scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令。
# 从本地上传到远程服务器
# scp 文件 root@ip:[路径]
[root@m01 ~]# scp 1.txt root@172.16.1.41:/opt/
# 从远程下载文件到本地
# scp root@ip:[路径] ./
[root@m01 ~]# scp root@172.16.1.41:/opt/1.txt .
scp每次拷贝都是全量复制，如果需要增量复制则需要rsync。
二、rsync介绍
rsync官方地址：https://rsync.samba.org/
rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。
rsync简称叫做远程同步，可以实现不同主机之间的数据同步，还支持全量和增量
三、rsync特性
支持拷贝特殊文件，如连接文件、设备等。
可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。
可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。
可以通过socket（进程方式）传输文件和数据（服务端和客户端）。
支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。
四、rsync使用
语法
命令格式 ：rsysnc [options] [source path] [destination path]
参数
以下例子中的服务器ip为172.16.1.81，备份数据服务器ip为172.16.1.41
-v 详细模式输出, 打印速率, 文件数量等
-z 传输时进行压缩以提高效率
-r 递归传输目录及子目录，即目录下得所有目录都同样传输
1、在/root/目录下创建a/b/文件夹，移动test文件到此目录下。
2、传输文件夹a
-t 保持文件时间信息
-o 保持文件属主信息
-g 保持文件属组信息
-l 保留软连接指向的目标文件
1、创建软连接
2、通过-l传输文件时保留软连接
-a 归档模式传输, 等于-tropgDl -t -r -o -p -g -D -l
-e 使用的信道协议,指定替代rsh的shell程序
-p 保留文件权限
-P 显示同步的过程及传输时的进度等信息
-D 保持设备文件信息
-L 保留软连接指向的目标文件
--append 指定文件接着上次传输中断处继续传输
1、传输中途ctrl c中断传输
2、继续传输文件，从76%左右开始继续传输到100%
--append-verify 使用参数续传（在断点续传之后，验证一下文件，如果不同，修复文件）
--exclude=PATTERN 指定排除不需要传输的文件(可使用*通配符)
rsync -avzP --append-verify --exclude=init.sh ./* root@172.16.1.41:/tmp/
--exclude-from=file 按照文件指定内容排除
--bwlimit=n 限速传输（单位：MB）
--delete 让目标目录和源目录数据保持一致
1、在/root/目录下创建a/b目录，传输/root/目录下的所有文件
2、在备份服务器/tmp/a目录下创建2.txt文件
3、载使用--delete同步数据，备份服务器/tmp/a/目录下2.txt文件已被删除
--password-file=xxx 使用密码文件
--port 指定端口传输
五、rsync守护进程模式
搭建服务端启动守护进程（873端口），然后在客户端推或拉数据进行备份,比普通远程模式好的地方在于免交互的备份数据。
服务端配置
1、安装 rsync 软件
yum -y install rsync
2、修改配置文件
vim /etc/rsyncd.conf
# 修改内容如下：
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to backup!
path = /backup
3、创建系统用户
groupadd rsync -g 666
useradd -u 666 -g 666 -M -s /sbin/nologin -r
4、创建密码文件
echo "rsync_backup:123456" > /etc/rsync.passwd
5、授权（必须为600）
chmod 600 /etc/rsync.passwd
6、创建备份目录
mkdir /backup
7、目录授权
chown rsync.rsync /backup
8.关闭防火墙和selinux
systemctl disable --now firewalld
setenforce 0
9、启动rsync守护进程
systemctl start rsyncd
客户端配置
1、创建密码文件并授权
echo "123456" > /etc/rsync.passwd
chmod 600 /etc/rsync.passwd
2、连接服务端备份数据
[root@m01 ~]# rsync -avzP --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup
rsync实时同步备份
rsync本身是不支持实时同步备份的，手动备份是不可取的；交给定时任务备份也不是足够的安全。因此我们需要使用inotify软件来实时监控文件变化配合rsync起到实时备份的功能。
inotify参数介绍
-m 持续监控
-r 递归
-q 静默，仅打印时间信息
--timefmt 指定输出时间格式
--format 指定事件输出格式
- %Xe 事件
- %w 目录
- %f 文件
-e 指定监控的事件
- access 访问
- modify 内容修改
- attrib 属性修改
- close_write 修改真实文件内容
- open 打开
- create 创建
- delete 删除
- umount 卸载
rsync配合inotify实现实时备份
# 监控/root/目录，实时备份文件
[root@m01 ~]# /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /root | while read line;do
cd /root
rsync -avzP --password-file=/etc/rsyncd.passwd ./* rsync_backup@172.16.1.41::backup
done
rsyncd.conf配置文件说明
uid = rsync # 用户，远端的客户机使用rsync用户来访问共享目录
gid = rsync # 用户组
port = 873 # 端口
use chroot = no # 安全相关
max connections = 200 # 最大连接数
timeout = 600 # 超时时间
ignore errors # 忽略错误
read only = false # 可写
list = false # 不允许列表（ls）
auth users = rsync_backup # 链接的虚拟用户，非系统用户
log file = /var/log/rsyncd.log # 日志文件
secrets file = /etc/rsync.password # 虚拟用户的账号密码文件
[backup] #模块名称，可以有多个，称为多模块
comment = "welcome to backup!" # 模块描述信息
path = /backup #服务器提供的共享目录
