linux中rsync备份文件
linux中rsync备份文件
备份文件的方式
备份方式:
cp : 本机复制
scp: 远程复制
推(本地上传到远程服务器)：
scp 1.txt root@ip:[路径]
[root@m01 ~]# scp 1.txt root@172.16.1.41:/opt/
-r是递归
拉(把远程服务器文件下载到本地)：
scp root@ip:[路径] ./
[root@m01 ~]# scp root@172.16.1.41:/opt/2.txt ./
-r是递归
缺点： 只支持全量复制(就是如果某一文件修改了，需要全部复制过来才能更新信息，太浪费时间)
rsync介绍(支持增量复制)
rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。
rsync官方地址：https://rsync.samba.org/
rsync监听端口：873
rsync运行模式：C/S client/server
rsync简称叫做远程同步，可以实现不同主机之间的数据同步，还支持全量和增量
rsync特性
- 支持拷贝特殊文件，如连接文件、设备等。
- 可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
- 可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
- 可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。
- 可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。
- 可以通过socket（进程方式）传输文件和数据（服务端和客户端）*****。
- 支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。
rsync传输方式
类似与scp，rsync也是 " 推 " 和 " 拉 " 两种传输方式.
push 推：客户端将数据从本地推送至服务端
pull 拉：客户端将数据从服务端拉取到本地
rsync传输模式
- 本地方式（类似于cp，不支持推送和拉取，只是单纯的复制）
- 远程方式（类似于scp，又不同于scp），scp只支持全量备份，rsync支持增量备份和差异备份
- 守护进程方式（客户端和服务端）
rsync使用
格式: rsync 参数 源文件路径 root@ip：目标文件路径
| 参数 | 作用 |
|---|---|
| -a | 归档模式传输, 等于-tropgDl -t -r -o -p -g -D -l |
| -v | 详细模式输出, 打印速率, 文件数量等 |
| -z | 传输时进行压缩以提高效率 |
| -r | 递归传输目录及子目录，即目录下得所有目录都同样传输 |
| -t | 保持文件时间信息 |
| -o | 保持文件属主信息 |
| -g | 保持文件属组信息 |
| -p | 保持文件权限 |
| -l | 保留软连接 |
| -P | 显示同步的过程及传输时的进度等信息 |
| -D | 保持设备文件信息 |
| -L | 保留软连接指向的目标文件 |
| -e | 使用的信道协议,指定替代rsh的shell程序 |
| --append | 指定文件接着上次传输中断处继续传输 |
| --append-verify | 使用参数续传（在断点续传之后，验证一下文件，如果不同，修复文件） |
| --exclude=文件名 | 指定排除不需要传输的文件 |
| --exclude-from=文件名 | 排除文件内写的文件名(文件内可以写多个文件名) |
| --bwlimit=传输速度 | 限速传输（单位：MB） |
| --delete | 让目标目录和源目录数据保持一致 |
| --password-file=文件名 | 使用密码文件(文件内要写密码) |
| --port | 指定端口传输 |
eg:
-t #保持文件时间信息
[root@m01 ~]# rsync -vzrt ./a/b/c/2.txt root@172.16.1.41:/opt/
-o #保持文件属主信息
-g #保持文件属组信息
[root@m01 ~]# rsync -vzrtgo ./a/b/c/2.txt root@172.16.1.41:/opt/
-p #保持文件权限
[root@m01 ~]# rsync -vzrtgop ./a/b/c/2.txt root@172.16.1.41:/opt/
-l #保留软连接
[root@m01 ~]# rsync -vzrtgopl ./* root@172.16.1.41:/opt/
-P #显示同步的过程及传输时的进度等信息
[root@m01 ~]# rsync -vzrtgoplP ./* root@172.16.1.41:/opt/
-D #保持设备文件信息
[root@m01 dev]# rsync -vzrtgDopl /dev/tty1 root@172.16.1.41:/opt/
-L #保留软连接指向的目标文件
-e #使用的信道协议,指定替代rsh的shell程序
--bwlimit=100 # 限速传输（单位：MB）
[root@m01 ~]# rsync -avzP --append-verify --bwlimit=10 ./* root@172.16.1.41:/opt/
-v #详细模式输出, 打印速率, 文件数量等
[root@m01 ~]# rsync -v ./2.txt root@172.16.1.41:/opt/
-r #递归传输目录及子目录，即目录下得所有目录都同样传输。
[root@m01 ~]# rsync -vzr ./a root@172.16.1.41:/opt/
rsync增量复制的体现
-a #归档模式传输, 等于-tropgDl -t -r -o -p -g -D -l
-z #传输时进行压缩以提高效率
[root@m01 ~]# rsync -vz ./2.txt root@172.16.1.41:/opt/
--append # 指定文件接着上次传输中断处继续传输
[root@m01 ~]# rsync -avzP --append ./* root@172.16.1.41:/opt/
--append-verify # 使用参数续传（在断点续传之后，验证一下文件，如果不同，修复文件）
[root@m01 ~]# rsync -avzP --append-verify ./* root@172.16.1.41:/opt/
--exclude=PATTERN # 指定排除不需要传输的文件
[root@m01 ~]# rsync -avzP --append-verify --exclude=2.txt ./* root@172.16.1.41:/opt/
--exclude-from=file # 按照文件指定内容排除
[root@m01 ~]# rsync -avzP --append-verify --exclude-from=/tmp/exclude.txt ./* root@172.16.1.41:/opt/
--delete 数据一致 （无差异同步）
在服务器的/tmp/linux路径下
[root@backup linux]# ll
total 563220
-rw-r--r-- 1 rsync rsync 576716800 Dec 29 15:48 2.txt
-rw-r--r-- 1 rsync rsync 0 Dec 29 21:55 4.txt
drwxr-xr-x 3 rsync rsync 15 Dec 29 15:22 a
-rw------- 1 rsync rsync 1687 Dec 24 16:34 anaconda-ks.cfg
-rwxr-xr-x 1 rsync rsync 133 Dec 24 18:42 checkIP.sh
-rwxr-xr-x 1 rsync rsync 4543 Dec 24 16:35 init.sh
-rw-r--r-- 1 rsync rsync 12 Dec 29 16:11 name.txt
在客户端
[root@web01 test]# ll
total 563220
-rw-r--r-- 1 root root 576716800 Dec 29 15:48 2.txt
-rw-r--r-- 1 root root 0 Dec 29 21:55 4.txt
drwxr-xr-x 3 root root 15 Dec 29 15:22 a
-rw------- 1 root root 1687 Dec 24 16:34 anaconda-ks.cfg
-rwxr-xr-x 1 root root 133 Dec 24 18:42 checkIP.sh
-rwxr-xr-x 1 root root 4543 Dec 24 16:35 init.sh
-rw-r--r-- 1 root root 12 Dec 29 16:11 name.txt
# 然后删除一些文件
[root@web01 test]# rm -rf a name.txt init.sh checkIP.sh
[root@web01 test]# ll
total 563204
-rw-r--r-- 1 root root 576716800 Dec 29 15:48 2.txt
-rw-r--r-- 1 root root 0 Dec 29 21:55 4.txt
-rw------- 1 root root 1687 Dec 24 16:34 anaconda-ks.cfg
# --delete同步文件
[root@web01 test]# rsync -az --delete ./ rsync_backup@172.16.1.41::linux
# 这里需要注意的是不能写./*而是./ 因为是把整个目录去做对比，而不是目录下的每个文件.
在服务端
[root@backup linux]# ll
total 563204
-rw-r--r-- 1 rsync rsync 576716800 Dec 29 15:48 2.txt
-rw-r--r-- 1 rsync rsync 0 Dec 29 21:55 4.txt
-rw------- 1 rsync rsync 1687 Dec 24 16:34 anaconda-ks.cfg
# 证明在客户端的同步下服务端的文件被同步删除了
PS：注意： rsync不管是推还是拉，推送目录的时候带/和不带/是有区别的
1.带/ ：/etc/ 将etc目录里的所有内容（不包括etc文件夹），推过去或者拉过来
2.不带/：/etc 将etc目录整体（包括etc文件夹及文件夹里的所有内容）推过去或者拉过来
rsync守护进程模式
服务端
按照以下步骤进行设置
1、安装
[root@backup ~]# yum install -y rsync
2、修改配置文件
[root@m01 ~]# vim /etc/rsyncd.conf
[root@backup ~]# vim /etc/rsyncd.conf
uid = rsync #用户名
gid = rsync #用户组
port = 873 #端口
fake super = yes #无需让rsync以root身份运行
use chroot = no #禁锢目录，不允许操作指定目录之外的目录
max connections = 200 #最大连接数200
timeout = 600 #超时时间600s 10分钟
ignore errors #忽略错误信息
read only = false #关闭只读，对备份数据可读写
list = false #不允许查看模块信息
auth users = rsync_backup #认证用户，定义虚拟用户作为连接认证用户
secrets file = /etc/rsync.passwd #认证用户的密码文件
log file = /var/log/rsyncd.log #日志文件
#####################################
[backup] # 模块名随便写
comment = welcome to backup! #注释信息（无关紧要）
path = /backup #路径，定义接收备份数据目录
[linux] # 模块名随便写
comment = welcome to linux!
path=/tmp/linux #路径，定义接收备份数据目录
3、创建系统用户
[root@backup opt]# groupadd rsync -g 666 # 属组随便写
[root@backup opt]# useradd rsync -u 666 -g 666 -M -s /sbin/nologin -r # 属主随便写
4、创建密码文件
[root@backup opt]# echo "rsync_backup:123456" > /etc/rsync.passwd # 密码自己设置
5、授权（必须授权为600）
[root@backup opt]# chmod 600 /etc/rsync.passwd
6、创建备份目录
[root@backup opt]# mkdir /backup
[root@backup opt]# mkdir /tmp/linux
7、目录授权
[root@backup opt]# chown rsync.rsync /backup/
[root@backup opt]# chown rsync.rsync /tmp/linux/
8、关闭防火墙和selinux
[root@backup opt]# systemctl disable --now firewalld
[root@backup opt]# setenforce 0
9、启动rsyncd服务
[root@backup opt]# systemctl start rsyncd
客户端
按照以下步骤进行设置
方法一：自己输入密码
[root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::backup
rsync_backup ： 虚拟用户，只在数据传输时使用
172.16.1.41 ： backup服务端的IP
backup ： 模块名称
方法二：设置密码文件，运行时读取
1、编写密码文件
[root@backup opt]# echo "123456" > /etc/rsync.passwd
2、授权
[root@m01 ~]# chmod 600 /etc/rsync.passwd
3、连接
[root@m01 ~]# rsync -avzP --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::linux
方法三：添加环境变量
1、定义环境变量
export RSYNC_PASSWORD=123456
2、同步
[root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::linux
Rsync的推操作：
[root@web01 data]# rsync -avz /data/ rsync_backup@172.16.1.41::backup
#将目录data推至服务器端backup中 在守护进程中，不考虑加/或者不加/
Rsync的拉操作:
[root@web01 ~]# rsync -avz rsync_backup@172.16.1.41::backup ./
#将服务器端的模板目录拉至客户端的当前目录中 在守护进程中，不考虑加/或者不加/
# 最后的backup可写成backup/1.txt 只复制backup下的1.txt
rsync实时同步
rsync是不支持实时同步的，通常我们借助于inotify这个软件来实时监控文件变化，一旦inotify监控到文件变化，则立即调用rsync进行同步。
| 参数 | 作用 |
|---|---|
| -m | 持续监控 |
| -r | 递归 |
| -q | 静默，仅打印时间信息 |
| --timefmt | 指定输出时间格式 |
| --format | 指定事件输出格式(%Xe 事件,%w 目录,%f 文件) |
| -e | 指定监控的事件(access 访问,modify 内容修改,attrib 属性修改,close_write 修改真实文件内容,open 打开,create 创建,delete 删除) |
格式：
[root@m01 ~]# /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /root # 持续监控本机/root目录下 监控创建、监控修改、监控删除、监控属性修改、监控修改文件内容
实时监控并同步
[root@m01 ~]# /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /root | while read line;do
cd /root
rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::linux
done
# 因为监控的是root目录 所以要切换到/root目录下
