linux之Rsync
备份文件的方式
1、cp
本机复制
2、scp
远程复制，缺点是只支持全量复制。
方式：
1、推（本地上传到远程服务器）
格式：scp 文件名 root@ip：[路径]
2、拉（把远程服务器文件下载到本地）
格式：scp root@ip：[路径]
scp参数
Linux scp 命令用于 Linux 之间复制文件和目录。 scp 是 secure copy 的缩写, scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令。 scp 是加密的，rcp 是不加密的，scp 是 rcp 的加强版。 选项参数 -1： 强制scp命令使用协议ssh1 -2： 强制scp命令使用协议ssh2 -4： 强制scp命令只使用IPv4寻址 -6： 强制scp命令只使用IPv6寻址 -B： 使用批处理模式（传输过程中不询问传输口令或短语） -C： 允许压缩。（将-C标志传递给ssh，从而打开压缩功能） -p：保留原文件的修改时间，访问时间和访问权限。 -q： 不显示传输进度条。 -r： 递归复制整个目录。 -v：详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接，验证和配置问题。 -c cipher： 以cipher将数据传输进行加密，这个选项将直接传递给ssh。 -F ssh_config： 指定一个替代的ssh配置文件，此参数直接传递给ssh。 -i identity_file： 从指定文件中读取传输时使用的密钥文件，此参数直接传递给ssh。 -l limit： 限定用户所能使用的带宽，以Kbit/s为单位。 -o ssh_option： 如果习惯于使用ssh_config(5)中的参数传递方式， -P port：注意是大写的P, port是指定数据传输用到的端口号 -S program： 指定加密传输时所使用的程序。此程序必须能够理解ssh(1)的选项。
scp案例
一、从本地复制文件到远程 1、复制本地文件到远程目录 scp /home/space/music/1.mp3 root@www.runoob.com:/home/root/others/music scp #命令 /home/space/music/1.mp3 #本地文件 root #远端服务器的的系统用户 @ #分隔符,以哪个用户身份登录服务器 www.runoob.com #远程服务器的ip或域名 : #分隔符，指定服务器的里面所在的目录 /home/root/others/music/ #复制到远程服务器的目录地址 2、复制本地文件到远程目录下，并重命名 scp /home/space/music/1.mp3 root@www.runoob.com:/home/root/others/music/001.mp3 scp #命令 /home/space/music/1.mp3 #本地文件 root #远端服务器的的系统用户 @ #分隔符,以哪个用户身份登录服务器 www.runoob.com #远程服务器的ip或域名 : #分隔符，指定服务器的里面所在的目录 /home/root/others/music/001.mp3 #复制到远程服务器的目录下并重命名001.mp3 二、从本地复制目录到远程目录下 1、指定用户名，命令执行后需要再输入密码 scp -r /home/space/music/ root@www.runoob.com:/home/root/others/ scp #命令 -r #选项 /home/space/music/ #本地目录 root #远端服务器的的系统用户 @ #分隔符,以哪个用户身份登录服务器 www.runoob.com #远程服务器的ip或域名 : #分隔符，指定服务器的里面所在的目录 /home/root/others/ #复制到远程服务器的目录地址 2、不指定用户名，命令执行后需要输入用户名和密码 scp -r /home/space/music/ www.runoob.com:/home/root/others/ scp #命令 -r #选项 /home/space/music/ #本地目录 www.runoob.com #远程服务器的ip或域名 : #分隔符，指定服务器的里面所在的目录 /home/root/others/ #复制到远程服务器的目录地址 三、从远程复制到本地 1、scp root@www.runoob.com:/home/root/others/music /home/space/music/1.mp3 scp -r www.runoob.com:/home/root/others/ /home/space/music/
3、rsyuc（远程复制）
支持全量复制，也支持增量复制
rsyuc介绍
rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。
rsync官方地址：https://rsync.samba.org/
rsync监听端口：873
rsync运行模式：C/S client/server
rsync简称叫做远程同步，可以实现不同主机之间的数据同步，还支持全量和增量
rsyuc特性
1、支持拷贝特殊文件，如连接文件、设备等。
2、可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
3、可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
4、可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。
5、可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。
6、可以通过socket（进程方式）传输文件和数据（服务端和客户端。
7、支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。
rsyuc应用场景
增量备份和全量备份
rsync的传输方式
1、push（推）
客户端将数据从本地推送至服务端
2、pull（拉）
客户端将数据从服务端拉取到本地
rsync传输模式
1、本地方式（类似于cp，不支持推送和拉取，只是单纯的复制）
2、远程方式（类似于scp，又不同于scp），scp只支持全量备份，rsync支持增量备份和差异备份
3、守护进程方式（客户端和服务端）
rsync使用（参数详解）
基础部分
1、-a ：归档模式传输, 等于-tropgDl -t -r -o -p -g -D -l
2、-v ：详细模式输出, 打印速率, 文件数量等 [root@m01 ~]# rsync -v ./2.txt root@172.16.1.41:/opt/
3、-z ：传输时进行压缩以提高效率 [root@m01 ~]# rsync -vz ./2.txt root@172.16.1.41:/opt/
4、-r ：递归传输目录及子目录，即目录下得所有目录都同样传输。 [root@m01 ~]# rsync -vzr ./a root@172.16.1.41:/opt/
5、-t ：保持文件时间信息 [root@m01 ~]# rsync -vzrt ./a/b/c/2.txt root@172.16.1.41:/opt/
6、-o ：保持文件属主信息 -g ：保持文件属组信息 [root@m01 ~]# rsync -vzrtgo ./a/b/c/2.txt root@172.16.1.41:/opt/
7、-p ：保持文件权限 [root@m01 ~]# rsync -vzrtgop ./a/b/c/2.txt root@172.16.1.41:/opt/
8、-l ：保留软连接 [root@m01 ~]# rsync -vzrtgopl ./* root@172.16.1.41:/opt/
9、-P ：显示同步的过程及传输时的进度等信息 [root@m01 ~]# rsync -vzrtgoplP ./* root@172.16.1.41:/opt/
10、-D ：保持设备文件信息 [root@m01 dev]# rsync -vzrtgDopl /dev/tty1 root@172.16.1.41:/opt/
11、-L ：保留软连接指向的目标文件
12、-e ：使用的信道协议,指定替代rsh的shell程序
高级部分
1、--append ：指定文件接着上次传输中断处继续传输 2、--append-verify ：使用参数续传（在断点续传之后，验证一下文件，如果不同，修复文件） 3、--exclude=PATTERN ：指定排除不需要传输的文件 [root@m01 ~]# rsync -avzP --append-verify --exclude=2.txt ./* root@172.16.1.41:/opt/ 4、--exclude-from=file ：按照文件指定内容排除 [root@m01 ~]# rsync -avzP --append-verify --exclude-from=/tmp/exclude.txt ./* root@172.16.1.41:/opt/ 5、--bwlimit=100 ：限速传输（单位：MB） [root@m01 ~]# rsync -avzP --append-verify --bwlimit=10 ./* root@172.16.1.41:/opt/ 6、--delete ：让目标目录和源目录数据保持一致 7、--password-file=xxx ：使用密码文件 8、--port ：指定端口传输
rsync守护进程模式
作用：
1、保证数据安全
2、数据归档
1、服务端
1、安装 [root@backup ~]# yum install -y rsync 2、修改配置文件 [root@backup ~]# vim /etc/rsyncd.conf uid = rsync gid = rsync port = 873 fake super = yes use chroot = no max connections = 200 timeout = 600 ignore errors read only = false list = false auth users = rsync_backup secrets file = /etc/rsync.passwd log file = /var/log/rsyncd.log ##################################### [backup] comment = welcome to backup! path = /backup [linux] comment = welcome to linux! path=/tmp/linux 3、创建系统用户 [root@backup opt]# groupadd rsync -g 666 [root@backup opt]# useradd rsync -u 666 -g 666 -M -s /sbin/nologin -r 4、创建密码文件 [root@backup opt]# echo "rsync_backup:123456" > /etc/rsync.passwd 5、授权（必须授权为600） [root@backup opt]# chmod 600 /etc/rsync.passwd 6、创建备份目录 [root@backup opt]# mkdir /backup [root@backup opt]# mkdir /tmp/linux 7、目录授权 [root@backup opt]# chown rsync.rsync /backup/ [root@backup opt]# chown rsync.rsync /tmp/linux/ 8、关闭防火墙和selinux [root@backup opt]# systemctl disable --now firewalld [root@backup opt]# setenforce 0 9、启动rsyncd服务 [root@backup opt]# systemctl start rsyncd
配置文件详解
2、客户端
方法一：自己输入密码 [root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::backup rsync_backup ： 虚拟用户，只在数据传输时使用 172.16.1.41 ： backup服务端的IP backup ： 模块名称 方法二：设置密码文件，运行时读取 1、编写密码文件 [root@m01 ~]# echo "123456" > /etc/rsync.passwd 2、授权 [root@m01 ~]# chmod 600 /etc/rsync.passwd 3、连接 [root@m01 ~]# rsync -avzP --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::linux 方法三：添加环境变量 1、定义环境变量 export RSYNC_PASSWORD=123456 2、同步 [root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::linux
rsync实时同步
rsync是不支持实时同步的，通常我们借助于inotify这个软件来实时监控文件变化，一旦inotify监控到文件变，则立即调用rsync进行同步。
1、inotify参数介绍
1、-m 持续监控
2、-r 递归
3、-q 静默，仅打印时间信息
4、--timefmt 指定输出时间格式
5、--format 指定事件输出格式 %Xe 事件 %w 目录 %f 文件
6、-e 指定监控的事件 access 访问 modify 内容修改 attrib 属性修改 close_write 修改真实文件内容 open 打开 create 创建 delete 删除 umount 卸载
2、安装inotify(装在客户端)
[root@web01 ~]# yum -y install inotify-tools
3、开始监控
[root@m01 ~]# /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /root
4、实时监控并同步
[root@m01 ~]# /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /root | while read line;do cd /root rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup done
rsync常见报错
1.报错内容： [root@web01 ~]# rsync -avz 1.txt rsync_backu@172.16.1.41::backup Password: @ERROR: auth failed on module backup rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2] #原因：1）虚拟用户的用户名或者密码错误，2）服务端密码文件权限不为600 2.报错内容： [root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.passwd ERROR: password file must not be other-accessible rsync error: syntax or usage error (code 1) at authenticate.c(196) [sender=3.1.2] #原因：客户端密码文件权限不是600 3.报错内容： [root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backu @ERROR: Unknown module 'backu' rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2] #原因：模块名字错误 4.报错内容： [root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::/backup ERROR: The remote path must start with a module name not a / rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2] #原因：双冒号后面跟的是模块名字，而不是目录名字不要加/ 5.报错内容： [root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup rsync: failed to connect to 172.16.1.41 (172.16.1.41): No route to host (113) rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2] #原因：防火墙开启，没有配置防火墙规则 [root@backup ~]# firewall-cmd --add-port=873/tcp success 6.报错内容： [root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup Password: sending incremental file list rewriteip.sh rsync: mkstemp ".rewriteip.sh.vx4Cry" (in backup) failed: Permission denied (13) sent 207 bytes received 128 bytes 44.67 bytes/sec total size is 194 speedup is 0.58 rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [sender=3.1.2] #原因：selinux没有关闭 7.报错内容： [root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup sending incremental file list rsync: delete of stat xattr failed for "rewriteip.sh" (in backup): Permission denied (13) sent 55 bytes received 114 bytes 338.00 bytes/sec total size is 194 speedup is 1.15 rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [sender=3.1.2] #原因：服务端备份目录权限不是rsync 8.报错内容 [root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup rsync: failed to connect to 172.16.1.41 (172.16.1.41): Connection refused (111) rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2] #原因：服务端服务没有启动 9.报错内容 [root@web01 ~]# rsync -avz 1.txt rsync_backup@10.0.0.41::backup sending incremental file list rsync: read error: Connection reset by peer (104) rsync error: error in socket IO (code 10) at io.c(785) [sender=3.1.2] #原因：服务端配置错误，导致启动问题
设置开机自启动
