Rsync文件同步机备份工具使用

一，Rsync简介

Rsync是一款开源的，快速的，多功能的，可实现全量及增量的本地或远程数据同步的优秀工具。适用于多种操作平台。

全称是Remote synchronization 具有可使本地和远程的两台主机之间的数据快速复制同步镜像，这个功能类似于ssh的scp命令，但是又优于scp，rsync可以是一个网络服务（port socket）一个rsync相当于scp，cp，rm但是优于他们的每一个命令。

在同步数据时，默认情况下，rsync通过其独特的quick check算法，它仅同步大小或者最后修改时间发生变化的文件或者目录。

rsync特性

 

二，rsync的工作场景

1，两台服务器之间数据同步

2，对数据服务器做备份或者同步

 

三，rsync的工作方式

1，本地数据备份，相当于cp rm等

rsync -avz /etc/hosts /tmp/

保存属性复制文件hosts相当于cp命令

新建一个目录为空目录/null

rsync -avz --delete /null/ /tmp/

/tmp/目录保存和/null/目录一样文件全部删除了，相当于rm

2，本地局域网主机互相备份 remote shell

rsync -avzP -e 'ssh -p 22' /tmp/ root@172.16.25.32:/tmp

从本地推向远端服务器

rsync -avzP -e 'ssh -p 22' root@172.16.25.32:/tmp/ /tmp/

从远端服务器拉向本地

出现错误提示rsync error: error in IPC code因为客户端没有安装ssh客户端使用命令yum -y install openssh-clients安装即可

-e 表示后面使用ssh传输

3，通过rsync的daemon

 

参数-v详细输出模式

     -z压缩

     -a 归档模式，以递归方式传输文件，并保持所有文件属性

     -r对子目录已递归模式

     -t保持文件时间信息

     -o保持文件属主信息

     -g保持文件属组信息

     -p 保持文件权限

     使用最多就是avz

 

四，服务端安装配置rsync

1，yum安装rsync

　　yum -y install rsync

2，新建配置文件

　　/etc/rsyncd.conf

　　

#Rsync server
#created by liuyueming 09:37 2016-12-29
##rsyncd.conf start##
uid = rsync         #客户端连接过来的用户
gid = rsync
use chroot = no     #创建不安全文件漏洞，这里关闭
max connections = 2000  #最大连接数
timeout = 600          #超时时间
pid file = /var/run/rsyncd.pid   #进程号文件，启动后进程号
lock file = /var/run/rsync.lock   #锁定文件
log file = /var/log/rsyncd.log    #日志文件
ignore erros                 #忽略错误
read only = false              #可读写
list = false                   #不能看服务端列表
hosts allow = 172.16.25.0/24    #允许主机
hosts deny = 0.0.0.0/32        #拒绝主机
auth users = rsync_backup     #认证用户，为虚拟用户
secrets file = /etc/rsync.password #认证用户密码文件
################################
[backup]
comment = backup by liuyueming 09:37 2016-12-29 #描述
path = /backup

3，启动

 rsync --daemon

使用873端口对外进行服务

4，创建用户

useradd rsync -s /sbin/nologin -M  #不需要登录，不需要家目录

  id rsync                      #检查创建用户是否成功

5，创建密码文件

   echo "rsync_backup:oldboy">/etc/rsync.password

   chmod 600 /etc/rsync.password #设置权限只有root可以读写  不设置成600可能会导致服务不能跑

6，可以加入开机自启动

echo "rsync --daemon" >>/etc/rc.local

 

五，客户端配置

1，创建本地密码文件

   echo "oldboy" >/etc/rsync.password  #只需要密码，不需要用户名

 chmod 600 /etc/rsync.password       #必须设置为600否则运行rsync出错

2，同步文件

本地往rsync服务器推送

rsync -avz /tmp/ rsync_backup@172.16.25.32::backup --password-file=/etc/rsync.password

#::后面的backup为服务器端配置文件/etc/rsyncd.conf里面[backup]对应

本地从rsync服务器拉去

rsync -avz rsync_backup@172.16.25.32::backup /tmp/ --password-file=/etc/rsync.password

另外一种写法

把远端文件拿回本地

rsync -avz rsync://rsync_backup@172.16.25.32/backup /tmp/ --password-file=/etc/rsync.password  #换一种写法，效果一样

 

重启rsync服务

pkill rsync  #关闭rsync服务

kill `cat /var/run/rsyncd.pid`

kill -HUP `cat /var/run/rsyncd.pid`  #加参数平滑杀进程

kill -USR2 `cat /var/run/rsyncd.pid`  #加参数平滑杀进程

 

六，rsync优点

1，增量备份同步，正常socket（daemon模式），集中备份。最好采用推送而不是抓取方式

七，rsync缺点

1，大量小文件同步的时候，比对时间比较长，有时候会导致rsync进程停止

 解决办法：a，打包同步b，drbd（基于文件系统同步复制block）

2，同步大文件，10G这样的大文件有时也会有问题，中断。未完整同步前，是隐藏文件，同步完成为正常文件。

 

PS：可以启用定时任务实现实时同步，定时任务最小间隔为1分钟，如果需要完全是实时同步需要使用inotify等技术。