rsync

rsync

第一章rsync基本概述

可以在不同主机之间进行同步，可实现全量备份与增量备份，因此非常适合用于架构集中式备份或异地备份等应用rsync是一款开源的备份工具可以在不同主机之间进行同步，可实现全量备份与增量备份，因此非常适合用于架构集中式备份或异地备份等应用
rsync 监听端口： 873
rsync 运行模式： C/S

第二章 rsync应用场景

2.1备份方式

方式：完全备份，增量备份,差异备份

2.2 备份架构

第三章 rsync三种模式

3.1本地模式

[root@backup ~]# echo 123 > test.txt
[root@backup ~]# cat test.txt 
123
[root@backup ~]# rsync test.txt /tmp/
[root@backup ~]# cat /tmp/test.txt 
123

3.2远程模式

拉取

rsync -az root@10.0.1.31:/root/test.txt /tmp

推送

rsync -az oldzhang.txt root@10.0.1.31:/tmp

拉取目录

rsync -avz root@172.16.1.31:/etc/hostname ./  #拉取远程文件
rsync -avz root@172.16.1.31:/root/ /backup/   #拉取远程目录下的所有文件
rsync -avz root@172.16.1.31:/root /backup/    #拉取远程目录以及目录下的所有文件

3.3后台服务

Rsync 借助 SSH 协议同步数据存在的缺陷
 1.使用系统用户（不安全）
 2.使用普通用户（会导致权限不足情况）
 3.守护进程传输方式: rsync 自身非常重要的功能(不使用系统用户，更加安全)

3.4 命令参数

rsync #命令
[OPTION...] #选项
SRC... #远程主机模块(不是目录)
[USER@] #远程主机用户(虚拟用户)
HOST:: #远程主机地址
[DEST] #将远程主机模块备份至本地什么位置
-a #归档模式传输, 等于-tropgDl
-v #详细模式输出, 打印速率, 文件数量等
-z #传输时进行压缩以提高效率
-r #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t #保持文件时间信息
-o #保持文件属主信息
-p #保持文件权限
-g #保持文件属组信息
-l #保留软连接
-P #显示同步的过程及传输时的进度等信息
-D #保持设备文件信息
-L #保留软连接指向的目标文件
-e #使用的信道协议,指定替代 rsh 的 shell 程序
--exclude=PATTERN #指定排除不需要传输的文件模式
--exclude-from=file #文件名所在的目录文件
--bwlimit=100 #限速传输
--delete #让目标目录和源目录数据保持一致

第四章 后台服务模式——服务端配置

4.1安装修改配置文件

yum -install rsync -y


[root@backup /server/scripts]# cat /etc/rsyncd.conf 
cat >/etc/rsyncd.conf <<EOF
uid = rsync 
gid = rsync 
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to Luz backup!
path = /backup

[data]
path = /data
EOF

4.2 配置文件介绍

uid = rsync # 运行进程的用户
gid = rsync # 运行进程的用户组
port = 873 # 监听端口
fake super = yes # 无需让 rsync 以 root 身份运行，允许接收文件的完整属性
use chroot = no # 禁锢推送的数据至某个目录, 不允许跳出该目录
max connections = 200 # 最大连接数
timeout = 600 # 超时时间
ignore errors # 忽略错误信息
read only = false # 对备份数据可读写
list = false # 不允许查看模块信息
auth users = rsync_backup # 定义虚拟用户，作为连接认证用户
secrets file = /etc/rsync.passwd # 定义 rsync 服务用户连接认证密码文件路径
[backup] # 定义模块信息
comment = commit # 模块注释信息
path = /backup # 定义接收备份数据目录

4.3 创建用户和目录数据

groupadd rsync -g 666
useradd -M -s /sbin/nologin rsync -u 666 -g 666
mkdir /backup
chown -R rsync.rsync /backup

4.4 创建虚拟用户密码授权

echo "rsync_backup:123456" > /etc/rsync.passwd
chmod 600 /etc/rsync.passwd

4.5加入开机自启

systemctl start rsyncd
systemctl enable rsyncd

4.6 检查端口

netstat -lntup|grep 873

第五章 客户端配置

5.1 配置文件和密码

1.使用密码文件
yum install rsync -y
echo "123456 > /etc/rsync.passwd
chmod 600 /etc/rsync.pass
'''
2.使用rsync变量，脚本使用
export RSYNC_PASSWORD=123456
'''

第六章rsync实时同步

rsync是不支持实时同步的，通常我们借助于inotify这个软件来实时监控文件变化，一旦inotify监控到文件变，则立即调用rsync进行同步。

1、安装inotify(装在客户端)
[root@m01 ~]# yum -y install inotify-tools

2、inotify参数介绍
-m 持续监控
-r 递归
-q 静默，仅打印时间信息
--timefmt 指定输出时间格式
--format 指定事件输出格式
    %Xe 事件
    %w 目录
    %f 文件
-e 指定监控的事件
    access 访问
    modify 内容修改
    attrib 属性修改
    close_write 修改真实文件内容
    open 打开
    create 创建
    delete 删除
    umount 卸载
    
3、开始监控
[root@m01 ~]# /usr/bin/inotifywait  -mrq  --format '%Xe  %w  %f' -e create,modify,delete,attrib,close_write  /root

4、实时监控并同步
[root@m01 ~]# /usr/bin/inotifywait  -mrq  --format '%Xe  %w  %f' -e create,modify,delete,attrib,close_write  /root | while read line;do
	cd  /root
	rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup
done

第七章 实战

7.1.客户推送backup目录下所有内容到rsync服务端

export RSYNC_PASSWORD=123456
rsync -avz /backup/ rsync_backup@172.16.1.41::backup

7.2客户端拉取rsync服务端backup模块数据到客户端的backup目录

export RSYNC_PASSWORD=123456
rsync -avz rsync_backup@172.16.1.41::backup /backup/

7.3 rsync实现数据无差异同步

#拉取远端数据：远端与本地保持一致,远端没有本地有会被删除, 造成客户端数据丢失
export RSYNC_PASSWORD=oldboy
rsync -avz --delete rsync_backup@172.16.1.41::backup /data/
#推送数据至远端：本地与远端保持一致, 本地没有远端会被删除, 造成服务器端数据丢失
export RSYNC_PASSWORD=oldboy
rsync -avz --delete /data/ rsync_backup@172.16.1.41::backup

7.4rsync的limit限速

#企业案例: 某 DBA 使用 rsync 拉取备份数据时，由于文件过大导致内部交换机带宽被沾满，导致用户的请求无法响应
export RSYNC_PASSWORD=oldboy
rsync -avz --bwlimit=1 rsync_backup@172.16.1.41::backup /data/