linux基础之备份命令rsync
目录
备份命令之rsync
1、备份命令
1.1 cp
本机复制
1.2 scp
远程复制 : 缺点是只支持全量复制，会浪费资源，占用一些没必要的带宽。
1. 推模式：本地上传到远程服务器
scp 1.txt root@ip:路径
[root@m1 ~]# scp 1.txt root@172.16.1.41:/opt/
2. 拉模式：把远程服务器文件下载到本地
scp root@ip:路径 本地路径
[root@m1 ~]# scp root@172.16.1.41:/opt/2.txt ./
# mv 文件 文件：改名
1.3 rsync
远程复制 ：支持全量复制和增量复制，也有推模式和拉模式。
# 把备份服务器/opt/目录里面的所有文件删掉(rm -rf ./*)，把m1当前目录下的所有文件传输,传输完成之前会以隐藏文件存在(ll -a查看)，传输完成后会替换成文件。
# dd if=/dev/zero of=100.txt bs=10M count=10 ：生成文件(常用来造文件来测试)
2、rsync介绍
rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。
rsync官方地址：https://rsync.samba.org/
rsync监听端口：873
rsync运行模式：C/S client/server
rsync简称叫做远程同步，可以实现不同主机之间的数据同步，还支持全量和增量
# GUN : 开源软件运动
3、rsync特性
支持拷贝特殊文件，如连接文件、设备等。
可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。
可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。
可以通过socket（进程方式）传输文件和数据（服务端和客户端）*****。
支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。
# 通常采用ssh协议，目前来说ssh协议是非常安全的。
4、rsync应用场景
1.全量备份
2.增量备份
5、rsync传输模式
1.推模式(push) ：客户端将数据从本地推送至服务端
2.拉模式(pull) ：客户端将数据从服务端拉取到本地
6、rsync的使用(参数)
6.1 rsync基础参数
-az ：通常情况下使用这两个参数就够了
-azvP : 这四个参数就差不多可以涵盖所有的基础参数了
[root@m1 ~]# rsync -azvP ./a root@172.16.1.41:/opt/
-a : 归档模式传输, 等于-tropgDl( -t -r -o -p -g -D -l )
-v : 详细模式输出, 打印速率, 文件数量等
[root@m01 ~]# rsync -v ./2.txt root@172.16.1.41:/opt/
-z : 传输时进行压缩以提高效率,一般情况下都应该有该参数
[root@m01 ~]# rsync -vz ./2.txt root@172.16.1.41:/opt/
-r : 递归传输目录及子目录，即目录下得所有目录都同样传输。
[root@m01 ~]# rsync -vzr ./a root@172.16.1.41:/opt/
-t : 保持文件的mtime时间信息(stat 文件路径 ：查看文件的三个时间(atime、ctime、mtime))
[root@m01 ~]# rsync -vzrt ./a/b/c/2.txt root@172.16.1.41:/opt/
-o : 保持文件属主信息(useradd openvpn -u 996 ：创建指定uid的用户)
-g : 保持文件属组信息
[root@m01 ~]# rsync -vzrtgo ./a/b/c/2.txt root@172.16.1.41:/opt/
-p : 保持文件权限((无此参数也一样保持权限))
[root@m01 ~]# rsync -vzrtgop ./a/b/c/2.txt root@172.16.1.41:/opt/
-l : 保留软连接
[root@m01 ~]# rsync -vzrtgopl ./* root@172.16.1.41:/opt/
-P : 显示同步的过程及传输时的进度等信息
[root@m01 ~]# rsync -vzrtgoplP ./* root@172.16.1.41:/opt/
-D : 保持设备文件信息(设备文件在/dev/目录里面)
[root@m01 dev]# rsync -vzrtgDopl /dev/tty1 root@172.16.1.41:/opt/
-L : 保留软连接指向的目标文件
-e : 使用的信道协议,指定替代rsh的shell程序
6.2 rsync高级参数
--append : 指定文件接着上次传输中断处继续传输
[root@m1 ~]# rsync -azvP --append 11.txt root@172.16.1.41:/opt/
--append-verify : 使用参数续传（在断点续传之后，验证一下文件，如果不同，修复文件）
[root@m1 ~]# rsync -azvP --append-verify 11.txt root@172.16.1.41:/opt/
--exclude=PATTERN : 指定排除不需要传输的文件
[root@m01 ~]# rsync -avzP --append-verify --exclude=11.txt ./* root@172.16.1.41:/opt/
--exclude-from=file : 按照文件指定内容排除(多个不需要传输的文件写入文件当成脚本)
[root@m1 ~]# touch /tmp/exclude.txt # 创建文件
[root@m01 ~]# rsync -avzP --append-verify --exclude-from=/tmp/exclude.txt ./* root@172.16.1.41:/opt/
--bwlimit=100 : 限速传输（单位：MB）
[root@m01 ~]# rsync -avzP --append-verify --bwlimit=10 ./* root@172.16.1.41:/opt/
--delete : 让目标目录和源目录数据保持一致
[root@m1 ~]# rsync -azvP --append-verify --exclude-from=/tmp/exclude.txt --delete ./* root@172.16.1.41:/opt/
--password-file=xxx : 使用密码文件
--port : 指定端口传输
7、rsync守护进程模式
7.1 服务端
1、安装
[root@backup ~]# yum install -y rsync
2、修改配置文件
[root@backup ~]# vim /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to backup!
path = /backup
[linux]
comment = welcome to linux!
path=/tmp/linux
3、创建系统用户
[root@backup opt]# groupadd rsync -g 666
[root@backup opt]# useradd rsync -u 666 -g 666 -M -s /sbin/nologin -r
4、创建密码文件(在服务端需要 用户名：密码)
[root@backup opt]# echo "rsync_backup:123456" > /etc/rsync.passwd
5、授权（必须授权为600）
[root@backup opt]# chmod 600 /etc/rsync.passwd
6、创建备份目录
[root@backup opt]# mkdir /backup
[root@backup opt]# mkdir /tmp/linux
7、目录授权
[root@backup opt]# chown rsync.rsync /backup/
[root@backup opt]# chown rsync.rsync /tmp/linux/
8、关闭防火墙和selinux
[root@backup opt]# systemctl disabel --now firewalld
[root@backup opt]# setenforce 0
9、启动rsyncd服务
[root@backup opt]# systemctl start rsyncd
7.2 客户端(3选1推荐2)
1.方法一：自己输入密码
[root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::backup
rsync_backup ： 虚拟用户，只在数据传输时使用
172.16.1.41 ： backup服务端的IP
backup ： 模块名称
2.方法二：设置密码文件，运行时读取(推荐使用)
1、编写密码文件(客户端添加密码不需要写用户名)
[root@backup opt]# echo "123456" > /etc/rsync.passwd
2、授权
[root@m01 ~]# chmod 600 /etc/rsync.passwd
3、连接
[root@m01 ~]# rsync -avzP --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::linux
3.方法三：添加环境变量(一旦重启就没了,不推荐使用)
1、定义环境变量
export RSYNC_PASSWORD=123456
2、同步
[root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::linux
8、rsync实时同步(inotify)
rsync是不支持实时同步的，通常我们借助于inotify这个软件来实时监控文件变化，一旦inotify监控到文件变，则立即调用rsync进行同步。
8.1 安装inotify(装在客户端)
[root@web01 ~]# yum -y install inotify-tools
8.2 inotify参数
-m 持续监控
-r 递归
-q 静默，仅打印时间信息
--timefmt 指定输出时间格式
--format 指定事件输出格式
%Xe 事件
%w 目录
%f 文件
-e 指定监控的事件
access 访问
modify 内容修改
attrib 属性修改
close_write 修改真实文件内容
open 打开
create 创建
delete 删除
umount 卸载 (现版本不支持)
8.3 监控
[root@m01 ~]# /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write,access /root
8.4 实时监控并同步
[root@m01 ~]# /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write,access /root | while read line;do
cd /root
rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup
done
