Rsync服务简介部署使用及原理详解
Rsync简介
什么是rsync?
Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。Rstync软件适用于unix/linux/windows等多种操作系统平台。
Rsync英文全称为Remotesynchronization，即远程同步。从软件的名称就可以看出来，Rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似ssh带的scp命令，但又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，Rsync还可以在本地主机的不通分区或目录之间全量及增量的复制数据，这又类似cp命令，但同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。此外，利用Rsync还可以实现删除文件和目录功能，这又相当于rm命令。
一个rsync相当于scp，cp，rm，并且优于他们每一个命令。
在同步备份数据时，默认情况下，Rsync通过其独特的”quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可以根据权限，属主等属性的变化同步，但需要制定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以，可以实现快速的同步备份数据。
Rsync2.x和rsync3.x差异
# CentOS5,rsync2.x对比方法，把所有的文件对比一遍，然后进行同步。
# CentOS6,rsync3.x对比方法，一边对比差异，一边对差异的部分进行同步。
rsync特性
# 支持拷贝特殊文件如链接文件，设备等。
# 可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
# 可以做到保持源文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变-p。
# 可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高。
# 可以使用rcp,rsh,ssh等方式来配合传输文件（rsync本身对数据不加密）。
# 可以通过sockert（进程方式）传输文件和数据（服务端和客户端）。
# 支持匿名或认证（无需系统用户）的进程模式传输，可实现方便安全的进行数据备份及镜像。
# 注意：需要注意拷贝的时候源目录加“/”和不加“/”的区别（加“/”表示只拷贝该目录之下的文件；不加“/”表示连该目录一起拷贝）
rsync应用场景
定时备份
# 可以通过crond + rsync 来实现
实时备份
# 可以通过inotify（sersync）+ rsync来实现
inotify使用
作为客户端命令，常用参数如下
inotify命令参数
# -avz --多个参数的集合
# -v, --verbose 详细模式输出，传输时的进度等信息
# -z， --compress 传输时进行压缩以提高传输效率,--compress-level=NUM可按级别压缩。
# -a，--archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rtopgDl
# -r，--recursive 对子目录以递归模式，即目录下所有目录有同样传输
# -t，--times，保持文件时间信息
# -o，--owner 保持文件属主信息
# -p，--perms 保持文件权限
# -g，--group 保持文件属组信息
# -P，--progress 显示同步的过程及传世时的进度等信息（大写的P）
# -D，devices 保持设备文件信息
# -l，--links 保持软链接
# -e，--rsh=COMMAND 使用的信道协议，指替代rsh的shell程序。例如:ssh
# -exclude=PATTERN指排斥不需要传输的文件模式
# --bwlimit=RATE 限速，默认是以kbit/s为单位
# --delete --删除（本地没有，远端也没有），让目标目录SRC和源目录数据DST一致，适用于两个目录完全一样
innotify的三种工作模式之本地模式
Rsync的本地模式，即将本地系统的文件或目录从一个目录移动到另外一个目录中，相当于一个系统命令来使用（不常用）。
命令格式
# rsync [OPTION...]SRC... [DEST]
Example
[root@jenkins data]# echo 1234 > test1.txt
[root@jenkins data]# ls
test1.txt
[root@jenkins data]# rsync /data/test1.txt /data/test2.txt
[root@jenkins data]# cat /data/test2.txt
1234
innotify的三种工作模式之shell模式
Rsync的远程shell模式，即将本地系统文件或目录从一台服务器传输向另外一台服务器，类似于scp命令。既可以推送数据到其他服务器，也可以下拉文件到本地。（该模式也不常用）
命令格式
# Pull: rsync[OPTION...] [USER@]HOST:SRC... [DEST]
# Push: rsync[OPTION...] SRC... [USER@]HOST:DEST
Example: 将一个文件传输到另一台服务器
[root@client data]# rsync -avz /data/test1.txt root@39.108.140.0:/root/
root@39.108.140.0's password:
sending incremental file list
test1.txt
sent 97 bytes received 35 bytes 37.71 bytes/sec
total size is 5 speedup is 0.04
[root@server ~]# cat test1.txt
1234
Example: 将一台主机的文件下载到本地
[root@client data]# rsync -avz 39.108.140.0:/root/test1.txt /data/test3.txt
root@39.108.140.0's password:
receiving incremental file list
test1.txt
sent 43 bytes received 97 bytes 56.00 bytes/sec
total size is 5 speedup is 0.04
[root@client data]# cat test3.txt
1234
加密传输(隧道传输)
Rsync的传输协议默认是不加密的明文传输，如果有加密传输文件的需求，可以自定义加密管道管道协议。使用参数：-e来指定相应的管道协议。
Example: 跨主机加密传输文件，指定ssh协议
[root@client data]# rsync -avz /etc/hosts -e 'ssh -p 22' root@39.108.140.0:
root@39.108.140.0's password:
sending incremental file list
sent 43 bytes received 12 bytes 22.00 bytes/sec
total size is 211 speedup is 3.84
# -e 指定加密协议以及协议端口号
限速传输
Rsync的传输默认是不限速的，传输时可能会占用很大的网络带宽，影响业务正常使用。可以使用参数：-bwlimit来限制传输时的网络带宽
Example: 传输时限速为1M/s
[root@client data]# dd if=/dev/zero of=test bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.00811283 s, 1.3 GB/s
[root@client data]# seq 10 | xargs -i dd if=/dev/zero of={}.dat bs=1024 count=1
# 不限速
[root@client data]# rsync -avz /data/test -e 'ssh -p 22' root@39.108.140.0:/data
root@39.108.140.0's password:
sending incremental file list
test
sent 10,293 bytes received 35 bytes 2,950.86 bytes/sec
total size is 10,485,760 speedup is 1,015.27
# 限速
[root@client data]# rsync -avz /data/test -e 'ssh -p 22' --bwlimit=1 root@39.108.140.0:/data
root@39.108.140.0's password:
sending incremental file list
test
sent 10,293 bytes received 35 bytes 826.24 bytes/sec
total size is 10,485,760 speedup is 1,015.27
# bwlimit的参数默认为1K bits/s
文件备份需要注意的事项
# 1. 备份需要考虑带宽限速(rsync,scp,ftp都有限速功能)
# 2. 备份需要选择业务低谷
innotify的三种工作模式之Daemon模式
Daemon，即守护进程。该模式是在一台rsync服务器上安装并运行一个rsync的服务进程，其他的客户端通过rsync命令上传文件到服务器中。该模式是rsync最常用的功能，用来做数据的定时或者实时备份，下面来具体安装和介绍daemon模式。
Daemon模式的安装与配置
环境清单
| 节点名 | IP | 软件版本 | 硬件 | 网络 | 说明 |
|---|---|---|---|---|---|
| server | 39.108.140.0 | rsync-3.1.2 | 1C2G | 阿里云 | 测试环境 |
| Client | 47.95.119.205 | rsync-3.1.2 | 1C2G | 阿里云 | 测试环境 |
安装
[root@server data]# yum -y install rsync
[root@server data]# rpm -qa |grep rsync
rsync-3.1.2-10.el7.x86_64
配置服务端
修改/etc/rsyncd.conf
该配置文件时rsync服务器端默认的配置文件，该文件默认不存在，需要自己手动创建！填入内容如下：
cat rsyncd.conf
uid = rsync # 配置用户，远端命令要使用rsync用户访问共享目录(访问目录的权限)
gid = rsync # 配置rsync服务程序的用户组
use chroot = no # 安全相关
max connections = 200 # 设置最大连接数
timeout = 300 # 设置超时时间
pid file = /var/run/rsyncd.pid # 定义进程文件
lock file = /var/run/rsync.lock # 定义锁文件
log file = /var/log/rsyncd.log # 定义日志文件
[backup] # 配置一个数据存储的模块
path = /data # 模块备份数据路径
ignore errors
read only = false
list = false
hosts allow = 47.95.119.205,172.25.1.0/24 # 配置登录权限，可以多个IP网段用逗号隔开
#hosts deny = 0.0.0.0/32
auth users = rsync_backup # 配置匿名服务登录用户(访问服务的权限)
secrets file = /etc/rsync.password # 配置匿名用户和密码文件
配置用户
# 创建用户名为rsync的用户，只让其运行程序，不给其登录系统的权限以及家目录
[root@server data]# useradd rsync -s /sbin/nologin -M
[root@server data]# tail -1 /etc/passwd
rsync:x:1001:1001::/home/rsync:/sbin/nologin
配置存储路径
创建目录/data，并将其所属用户和用户组修改为rsync，因为程序需要用rsync用户来访问这个目录，如果rsync没有权限访问该目录，那么客户端也无法上传文件到备份数据目录。命令如下：
[root@server data]# mkdir /data/ -p
[root@server data]# chown rsync:rsync /data/
[root@server data]# ls -ld /data/
drwxr-xr-x 2 rsync rsync 4096 Jul 29 23:12 /data/
配置虚拟用户文件
/etc/rsync.password
rsync有一个重要的特性，就是可以使用一个虚拟的用户（不是实际存在的用户）来访问系统服务。为了使用这个功能，我们需要创建一个虚拟的用户文件，该文件已经在rsyncd.conf配置文件里面的secrets file定义好了，是/etc/rsync.password文件
[root@server data]# echo "rsync_backup:youmen" > /etc/rsync.password
[root@server data]# cat /etc/rsync.password
rsync_backup:youmen
[root@server data]# chmod 600 /etc/rsync.password
# 文件创建完成之后，需要修改文件的权限属性为600，否则程序无法正常运行
配置开机自启动
[root@server data]# echo '/usr/bin/rsync --daemon' >> /etc/rc.local
[root@server data]# tail -1 /etc/rc.local
/usr/bin/rsync --daemon
配置客户端
/etc/rsync.password
相对于服务器端来说，客户端的配置很简单，只需要创建一个密码文件就行了。这个密码文件也是默认不存在，需要手动创建。
[root@client data]# echo "youmen" > /etc/rsync.password
[root@client data]# cat /etc/rsync.password
youmen
[root@client data]# chmod 600 /etc/rsync.password
[root@client data]# ls -l /etc/rsync.password
-rw------- 1 root root 7 Jul 29 23:29 /etc/rsync.password
使用rsync
启动并验证服务
[root@server data]# rsync --daemon
[root@server data]# ss -atnlp |grep 873
LISTEN 0 5 *:873 *:* users:(("rsync",pid=25230,fd=3))
LISTEN 0 5 :::873 :::* users:(("rsync",pid=25230,fd=5))
# 重启
[root@server data]# pkill rsync
[root@server data]# rsync --daemon
同步数据
命令格式
# 下载: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
# rsync [OPTION...]rsync://[USER@]HOST[:PORT]/SRC... [DEST]
# 上传: rsync [OPTION...] SRC... [USER@]HOST::DEST
# rsync [OPTION...] SRC...rsync://[USER@]HOST[:PORT]/DEST
创建测试数据
客户端
[root@client data]# seq 10 | xargs -i dd if=/dev/zero of={}.dat bs=1024 count=1
[root@client data]# ls
10.dat 2.dat 4.dat 6.dat 8.dat
1.dat 3.dat 5.dat 7.dat 9.dat
服务端
[root@server data]# seq 2 | xargs -i dd if=/dev/zero of={}.dat bs=1024 count=1
1+0 records in
1+0 records out
1024 bytes (1.0 kB) copied, 0.000147976 s, 6.9 MB/s
1+0 records in
1+0 records out
1024 bytes (1.0 kB) copied, 9.5039e-05 s, 10.8 MB/s
[root@server data]# ls
1.dat 2.dat
下载数据测试
Example1: 服务端免密同步文件到客户端
[root@client ~]# rsync -auv --password-file=/etc/rsync.password rsync_backup@39.108.140.0::backup /data
receiving incremental file list
./
1.dat
2.dat
sent 69 bytes received 2,240 bytes 1,539.33 bytes/sec
total size is 2,048 speedup is 0.89
Example: 客户端文件同步到服务端
[root@client data]# rsync -avz --delete /data/ rsync_backup@39.108.140.0::backup --password-file=/etc/rsync.password
sent 556 bytes received 921 bytes 2,954.00 bytes/sec
total size is 10,240 speedup is 6.93
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1178) [sender=3.1.2]
Rsync优缺点
优点
# 1、支持数据增量备份，支持socket（daemon），集中备份（支持推拉，都是以客户端为参照物）；
# 2、远程SHELL通道模式可以加密（SSH）传输，socket（daemon）模式需要加密传输可以使用×××服务或者ipsec服务；
缺点
# 1、大量小文件同步的时候，时间比较长，有的时候，rsync进程可能会停止；
# 2、同步大文件，10G这样的大文件有时也会有问题，中途可能会中断。
# 3、未完整同步前，文件默认是隐藏的，可以通过续传等参数实现传输。
# 注意：
# 1、模式2和模式3不能结合使用
# 2、注意源目录后面加“/”与没有的区别（有“/”表示只同步该目录下的数据；没有表示连整个目录一起同步）
