rsync 数据同步
什么是Rsync?
Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地货远程数据同步备份的优秀工具。适用于unix/linux/windows等多种操作系统平台。
Rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能,这个功能类似SSH带scp命令,但又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以增量拷贝,当然,rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据,这又类似cp命令,但同样也优于cp命令,cp每次都是全量拷贝,而rsync可以增量拷贝。同样,rsync还可以实现删除文件或目录的功能,这又相当于rm命令。
在同步备份数据时,默认情况下,Rsync通过其独特的“quick check”算法,它仅同步大小或者最后修改时间发生的文件或目录,当然也可根据权限,属主等属性的变化同步,但需要指定相应的参数,甚至可以实现只同步一个文件里有变化的内部部分,所有,可以实现快速的同步备份数据。
提示:传统的cp,scp工具拷贝每次均为完整的拷贝,而rsync除了可以完整拷贝外,还具备增量拷贝的功能,因此,从同步数据的性能及效率上,rsync工具更胜一筹。
Rsync的工作方式:
第一种工作模式:local(类似于cp命令的功能)
测试如下:将t1目录下所有文件同步到 /tmp/目录下
rsync -avz ./ /tmp/ //-avz:保持文件属性不变,此命令相当于cp
用t1目录将/tmp/目录清空,可以用--delete参数配合。(尽量不要用,危险)
rsync -avz --delete /null/ /tmp/ //-avz:保持文件属性不变,此命令相当于rm
第二种工作模式:remote shell (类似于scp命令功能)
push:
通过隧道远程备份: 将本机t1目录下所有文件同步到192.168.43.118机器/tmp/目录下。
rsync –avzP -e ‘ssh –p 22’ /t1/ root@192.168.43.200:/tmp //-e通过隧道方式ssh 22端口模式
pull:
将192.168.43.118机器/tmp/目录下所有增量文件同步到192.168.43.117/t1/目录下。
在192.168.43.118机器/tmp/目录下新建一个118.log文件
将192.168.43.118机器/tmp/目录下所有增量文件同步到192.168.43.117/t1/目录下。
rsync –avzP -e ‘ssh –p 22’ root@192.168.43.118:/tmp/ /t1/ //-e通过隧道方式ssh 22端口模式
rsync –avzP /本地目录 –e ‘ssh –p 22’ root@192.168.43.118:/远端目录
rsync –avzP –e ‘ssh –p 22’ root@192.168.43.118:/远端目录 本地目录
-P :大写的,接端口,默认22端口时可以省略-P22
-r :递归,表示拷贝目录
-p :小写,表示在拷贝前后保持文件或目录属性。
-l :limit 限制速度
------------------------------------------------------------------------------------------
第三种模式:以守护进程(socket)的方式传输数据(这个是rsync自身的重要的功能)
测试:服务端ip:192.168.43.200 客户端1ip:192.168.43.119 客户端2ip:192.168.43.118
rsync-server服务端配置:
①vi /etc/rsyncd.conf 添加如下代码↓↓↓↓↓↓
#Rsync server
#created by bqh 21:30 2018-12-05
#rsyncd.conf start
uid = rsync //客户端连备份服务器具备rsync的用户权限
gid = rsync //客户端连备份服务器具备rsync的用户权限
use chroot = no //程序出现bug会定向为一个空目录,安全方面。
max connections = 2000 //客户端连接数。一般设置大于连接数。
timeout = 600 //设置客户端连接超时600秒,超时剔除。
pid file = /var/run/rsyncd.pid //pid进程号
lock file = /var/run/rsync.lock //锁文件
log file = /var/log/rsyncd.log //rsync日志文件
ignore errors //忽略错误
read only = false //只读,true为可读写
list = false //是否可以远程列表
hosts allow = 192.168.43.0/24 //允许什么网段访问
hosts deny = 0.0.0.0/32 //一般局域网不用,公网可能用,但一般用vpn
auth users = rsync_backup //认证用户名,远程连接的用户。
secrets file = /etc/rsync.password //存放用户和密码的文件,远程用户的密码
#####################################
[backup] //共享模块调用path服务
comment = backup server by bqhboy 21:40 2018-12-05
path = /backup //共享目录地址
②创建一个虚拟用户:
useradd rysnc –s /sbin/nologin –M
③创建共享目录及属主:
mkdir /backup
chown –R rsync /backup
④给虚拟用户名设置密码并存放文件中:
echo “rsync_backup:bqh123” >/etc/rsync.password
⑤给服务端虚拟用户密码文件设置权限:
chmod 600 /etc/rsync.password
⑥启动服务:rsync --daemon
查看服务:ss -lntup|grep rsync
netstat -lntup|grep rsync
ps -ef|grep rsync|grep -v grep
lsof -i :873
⑦加入开机自启动:
echo "rsync --daemon" >>/etc/rc.local
cat /etc/rc.local
客户端1配置如下:
①创建密码文件
echo "bqh123" >/etc/rsync.password
cat /etc/rsync.password
chmod 600 /etc/rsync.password
ll /etc/rsync.password
②rsync
Push:
rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
将客户端1/tmp/目录下所有文件推送到服务端/backup/目录下:
rsync -avz /tmp/ rsync_backup@192.168.43.200::backup --password-file=/etc/rsync.password
从服务端backup目录下所有增量文件拉拽到客户端端/tmp/目录下:
在服务端/backup/下新建一个增量文件4.txt
rsync -avz rsync://rsync_backup@192.168.43.200/backup /tmp/ --password
-file=/etc/rsync.password
如果想每次访问用密码去掉 --password-file=/etc/rsync.password
③echo $? //如果结果为0的话正确。
客户端2配置同客户端1(...具体略)
客户端rsync同步排除文件参数: --exclude
排除多个文件:
--exclude={a,b,c}
--exclude={a..c}
--exclued-from=paichu.log
--exclude=a --exclude=b --exclude=c
例如:
将客户端2/tmp/目录下所有文件(排除123.txt)推送到服务端/backup/目录下:
在服务端查看推送的文件如下:
-----------------------------------------------------------------------------------------------
无差异同步: --delete 尽量不用此参数。
推送:本地有,远端就有;本地没有,删除远端独有的。备份远端数据
拉取:远端有,本地就有;远端没有,删除本地独有的。备份本地数据。
Rsync优点:
增量备份同步,支持socket(daemon模式),集中备份
Rsync缺点:
1.大量小文件时候同步的时候,比对时间较长,有的时候,rsync进程停止。
解决:a.打包大量小文件。 b.drbd(文件系统同步复制block)
2. 同步大文件,10G这样的大文件有时候也会有问题,中断,未完整同步前,是隐藏文件。同步完成后改为正常文件。