rsync 配置

同步：
服务器端：
首先安装该服务的最新版 rsync-2.6.8.tar.gz
安装步骤：
1， tar zxvf rsync-2.6.8.tar.gz
2， cd rsync-2.6.8
3， ./configure –prefix= path
4， make ; make install
更改服务器端的配置文件
1，vi /etc/rsyncd.conf

uid = root 指定运行该服务的权限
gid = root
log file = /var/log/rsyncd.log 指定日志文件
[mag_sync] 定义同步项目名 可以定义多个同步项目
path = /usr/local/apps/www/magazine/file 指定源路径
read only = no 是否只读
auth users = mag_sync 该同步项目的认证用户名
secrets file = /etc/rsync.pas 该同步项目的密码文件
更改密码文件
vi /etc/rsync.pas
文件格式为 用户名:密码
mag_sync:magazine_rsync@zcom.com
更改密码文件的权限
chmod +600 /etc/rsync.pas
启动rsyncd服务
/usr/local/rsync-42.0/bin/rsync --daemon
rsync默认服务端口为873
加入rc.local
编辑/etc/rc.d/rc.local，在最后添加：
/usr/local/bin/rsync --daemon

客户端：
编辑密码文件
vi /etc/rsync.pas
magazine_rsync@zcom.com 注意该文件只有密码部份
更改文件权限
chmod +600 / etc/rsync.pas
rsync-rvlHpogDtS --progress --delete --password-file=/etc/rsync.pas mag_sync@192.168.0.43::mag_sync /usr/local/apps/www/magazine/file
将此脚本加入计划任务
现将 rsync 的详细参数贡献给大家：
-v, --verbose 详细模式输出
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关，强制对文件传输进行校验
-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
-H, --hard-links 保留硬链结
-p, --perms 保持文件权限
-o, --owner 保持文件属主信息
-g, --group 保持文件属组信息
-D, --devices 保持设备文件信息
-t, --times 保持文件时间信息
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, --dry-run现实哪些文件将被传输
-W, --whole-file 拷贝文件，不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
-e, --rsh=COMMAND 指定替代rsh的shell程序
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
--delete 删除那些DST中SRC没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件
--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输
--force 强制删除目录，即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间，单位为秒
-I, --ignore-times 不跳过那些有同样的时间和长度的文件
--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
-T --temp-dir=DIR 在DIR中创建临时文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 --partial
--progress 显示备份过程
-z, --compress 对备份的文件在传输时进行压缩处理
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 绑定到特定的地址
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件
--port=PORT 指定其他的rsync服务端口
--blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
--progress 在传输时现实传输过程
--log-format=FORMAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽，KBytes per second
-h, --help 显示帮助信息
Win—rsync同步：
服务器端：
安装服务器端（过程略）
修改配置文件
use chroot = false
strict modes = false
hosts allow = *
log file = rsyncd.log
pid file = rsyncd.pid
# Module definitions
# Remember cygwin naming conventions : c:\work becomes /cygwin/c/work
#
[test]
path = /cygdrive/c/work
read only = false
transfer logging = yes
# 同步cococ音乐文件
[cococmusicfiles]
path = e:/cococmusicfile/wma_music_file/ting_cococ_com_2005/0/1/9388
read only = false
transfer logging = yes
auth users = cococ_sync
secrets file = c:/my.pas
请注意只有路径的表示方法不同
别忘了建密码文件，跟linux下完全一样

客户端：
1,建立密码文件（跟linux完全相同，略）
建立批处理：
C:\Program Files\cwRsynccl\bin\rsync -rvlHpogDtS --progress--password-file=c:/my1.pas cococ_sync@219.234.85.181::cococmusicfiles cygdrive/e/cococmusicfile/wma_music_file/ting_cococ_com_2005/0/1/9388
打开计划任务服务，执行上面内容的批处理

 

一、rsync 简介

　　Rsync（remote synchronize）是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件，也可以使用 Rsync 同步本地硬盘中的不同目录。

　　Rsync 是用于取代rcp的一个工具，Rsync使用所谓的 “Rsync 算法” 来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。您可以参考 How Rsync Works A Practical Overview 进一步了解 rsync 的运作机制。

　　Rsync支持大多数的类Unix系统，无论是Linux、Solaris还是BSD上都经过了良好的测试。此外，它在windows平台下也有相应的版本，比较知名的有cwRsync和Sync2NAS。

　　Rsync 的初始作者是 Andrew Tridgell 和 Paul Mackerras，它当前由 http://rsync.samba.org维护。

　　Rsync的基本特点如下：

　　1. 可以镜像保存整个目录树和文件系统；

　　2. 可以很容易做到保持原来文件的权限、时间、软硬链接等；

　　3. 无须特殊权限即可安装；

　　4. 优化的流程，文件传输效率高；

　　5. 可以使用rcp、ssh等方式来传输文件，当然也可以通过直接的socket连接；

　　6. 支持匿名传输，以方便进行网站镜像。

　　在使用 rsync 进行远程同步时，可以使用两种方式：远程 Shell 方式（建议使用 ssh，用户验证由 ssh 负责）和 C/S 方式（即客户连接远程 rsync 服务器，用户验证由 rsync 服务器负责）。

　　无论本地同步目录还是远程同步数据，首次运行时将会把全部文件拷贝一次，以后再运行时将只拷贝有变化的文件（对于新文件）或文件的变化部分（对于原有文件）。

　　rsync 在首次复制时没有速度优势，速度不如 tar，因此当数据量很大时您可以考虑先使用 tar 进行首次复制，然后再使用 rsync 进行数据同步。

二、系统环境

系统平台：CentOS release 6.3 (Final)

rsync 版本：rsync-3.0.9-2.el6.rfx.x86_64.rpm

rsync 服务器：TS-DEV （172.16.1.135）
rsync 客户端：TS-CLIENT （172.16.1.136）

三、服务器端安装rsync服务

3.1. 检查rsync 是否已经安装

# rpm -qa|grep rsync

若已经安装，则使用rpm -e 命令卸载。

3.2. 下载RPM包

# wget http://pkgs.repoforge.org/rsync/rsync-3.0.9-2.el6.rfx.x86_64.rpm

3.3. 安装rsync

# rpm -ivh rsync-3.0.9-2.el6.rfx.x86_64.rpm

四、配置 rsync 服务

4.1. 配置 rsync 服务器的步骤

首先要选择服务器启动方式
对于负荷较重的 rsync 服务器应该使用独立运行方式
对于负荷较轻的 rsync 服务器可以使用 xinetd 运行方式
创建配置文件 rsyncd.conf
对于非匿名访问的 rsync 服务器还要创建认证口令文件
4.2. 以 xinetd 运行 rsync 服务

CentOS 默认以 xinetd 方式运行 rsync 服务。rsync 的 xinetd 配置文件
在 /etc/xinetd.d/rsync。要配置以 xinetd 运行的 rsync 服务需要执行如下的命令：

# chkconfig rsync on
# service xinetd restart
管理员可以修改 /etc/xinetd.d/rsync 配置文件以适合您的需要。例如，您可以修改配置行

server_args = --daemon
在后面添加 rsync 的服务选项。

4.3. 独立运行 rsync 服务

最简单的独立运行 rsync 服务的方法是执行如下的命令：

# /usr/bin/rsync --daemon
您可以将上面的命令写入 /etc/rc.local 文件以便在每次启动服务器时运行 rsync 服务。当然，您也可以写一个脚本在开机时自动启动 rysnc 服务。

4.4. 配置文件 rsyncd.conf

两种 rsync 服务运行方式都需要配置 rsyncd.conf，其格式类似于 samba 的主配置文件。
配置文件 rsyncd.conf 默认在 /etc 目录下。为了将所有与 rsync 服务相关的文件放在单独的目录下，可以执行如下命令：

# mkdir /etc/rsyncd
# touch /etc/rsyncd/rsyncd.conf
# ln -s /etc/rsyncd/rsyncd.conf /etc/rsyncd.conf
配置文件 rsyncd.conf 由全局配置和若干模块配置组成。配置文件的语法为：

模块以 [模块名] 开始
参数配置行的格式是 name = value ，其中 value 可以有两种数据类型：
字符串（可以不用引号定界字符串）
布尔值（1/0 或 yes/no 或 true/false）
以 # 或 ; 开始的行为注释
\ 为续行符
全局参数

在文件中 [module] 之外的所有配置行都是全局参数。当然也可以在全局参数部分定义模块参数，这时该参数的值就是所有模块的默认值。

参数 说明 默认值
address 在独立运行时，用于指定的服务器运行的 IP 地址。由 xinetd 运行时将忽略此参数，使用命令行上的 –address 选项替代。 本地所有IP
port 指定 rsync 守护进程监听的端口号。 由 xinetd 运行时将忽略此参数，使用命令行上的–port 选项替代。 873
motd file 指定一个消息文件，当客户连接服务器时该文件的内容显示给客户。 无
pid file rsync 的守护进程将其 PID 写入指定的文件。 无
log file 指定 rsync 守护进程的日志文件，而不将日志发送给 syslog。 无
syslog facility 指定 rsync 发送日志消息给 syslog 时的消息级别。 daemon
socket options 指定自定义 TCP 选项。 无
模块参数

模块参数主要用于定义 rsync 服务器哪个目录要被同步。模块声明的格式必须为 [module] 形式，这个名字就是在 rsync 客户端看到的名字，类似于 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。可以根据自己的需要，来指定多个模块，模块中可以定义以下参数：

a. 基本模块参数

参数 说明 默认值
path 指定当前模块在 rsync 服务器上的同步路径，该参数是必须指定的。 无
comment 给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。 无
b. 模块控制参数

参数 说明 默认值
use chroot 若为 true，则 rsync 在传输文件之前首先 chroot 到 path 参数所指定的目录下。这样做的原因是实现额外的安全防护，但是缺点是需要 root 权限，并且不能备份指向 path 外部的符号连接所指向的目录文件。 true
uid 指定该模块以指定的 UID 传输文件。 nobody
gid 指定该模块以指定的 GID 传输文件。 nobody
max connections 指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。 0（没有限制）
lock file 指定支持 max connections 参数的锁文件。 /var/run/rsyncd.lock
list 指定当客户请求列出可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为 false，可以创建隐藏的模块。 true
read only 指定是否允许客户上传文件。若为 true 则不允许上传；若为 false 并且服务器目录也具有读写权限则允许上传。 true
write only 指定是否允许客户下载文件。若为 true 则不允许下载；若为 false 并且服务器目录也具有读权限则允许下载。 false
ignore errors 指定在 rsync 服务器上运行 delete 操作时是否忽略 I/O 错误。一般来说 rsync 在出现 I/O 错误时将将跳过 –delete 操作，以防止因为暂时的资源不足或其它 I/O 错误导致的严重问题。 true
ignore nonreadable 指定 rysnc 服务器完全忽略那些用户没有访问权限的文件。这对于在需要备份的目录中有些不应该被备份者获得的文件时是有意义的。 false
timeout 该选项可以覆盖客户指定的 IP 超时时间。从而确保 rsync 服务器不会永远等待一个崩溃的客户端。对于匿名 rsync 服务器来说，理想的数字是 600（单位为秒）。 0 (未限制)
dont compress 用来指定那些在传输之前不进行压缩处理的文件。该选项可以定义一些不允许客户对该模块使用的命令选项列表。必须使用选项全名，而不能是简称。当发生拒绝某个选项的情况时，服务器将报告错误信息然后退出。例如，要防止使用压缩，应该是：”dont compress = *”。 *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz
c. 模块文件筛选参数

参数 说明 默认值
exclude 指定多个由空格隔开的多个文件或目录(相对路径)，并将其添加到 exclude 列表中。这等同于在客户端命令中使用 –exclude 来指定模式。 空
exclude from 指定一个包含 exclude 规则定义的文件名，服务器从该文件中读取 exclude 列表定义。 空
include 指定多个由空格隔开的多个文件或目录(相对路径)，并将其添加到 include 列表中。这等同于在客户端命令中使用 –include 来指定模式 。 空
include from 指定一个包含 include 规则定义的文件名，服务器从该文件中读取 include 列表定义。 空
一个模块只能指定一个exclude 参数、一个include 参数。
结合 include 和 exclude 可以定义复杂的exclude/include 规则 。
这几个参数分别与相应的rsync 客户命令选项等价，唯一不同的是它们作用在服务器端。
关于如何书写规则文件的内容请参考http://www.howtocn.org/rsync:use_rsync。
d. 模块用户认证参数

参数 说明 默认值
auth users 指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。用户名和口令以明文方式存放在 secrets file 参数指定的文件中。 (匿名方式)
secrets file 指定一个 rsync 认证口令文件。只有在 auth users 被定义时，该文件才起作用。 空
strict modes 指定是否监测口令文件的权限。若为 true 则口令文件只能被 rsync 服务器运行身份的用户访问，其他任何用户不可以访问该文件。 true
rsync 认证口令文件的权限一定是 600，否则客户端将不能连接服务器。
rsync 认证口令文件中每一行指定一个 用户名:口令 对，格式为：
　　　　username:passwd

一般来说口令最好不要超过8个字符。若您只配置匿名访问的 rsync 服务器，则无需设置上述参数。
e. 模块访问控制参数

参数 说明 默认值
hosts allow 用一个主机列表指定哪些主机客户允许连接该模块。不匹配主机列表的主机将被拒绝。 *
hosts deny 用一个主机列表指定哪些主机客户不允许连接该模块。 空
客户主机列表定义可以是以下形式：

单个IP地址。例如：192.168.0.1
整个网段。例如：192.168.0.0/24，192.168.0.0/255.255.255.0
可解析的单个主机名。例如：centos，centos.bsmart.cn
域内的所有主机。例如：*.bsmart.cn
“*”则表示所有。
多个列表项要用空格间隔。
f. 模块日志参数

参数 说明 默认值
transfer logging 使 rsync 服务器将传输操作记录到传输日志文件。 false
log format 指定传输日志文件的字段。 ”%o %h [%a] %m (%u) %f %l”
设置了”log file”参数时，在日志每行的开始会添加”%t [%p]“。

可以使用的日志格式定义符如下所示：
%a - 远程IP地址
%h - 远程主机名
%l - 文件长度字符数
%p - 该次 rsync 会话的 PID
%o - 操作类型：”send” 或 “recv”
%f - 文件名
%P - 模块路径
%m - 模块名
%t - 当前时间
%u - 认证的用户名（匿名时是 null）
%b - 实际传输的字节数
%c - 当发送文件时，记录该文件的校验码
五、rsync 服务器应用案例

5.1. 在服务器端TS-DEV上配置rsync 服务

a. 编辑配置文件

# vi /etc/rsyncd/rsyncd.conf

复制代码
# Minimal configuration file for rsync daemon
# See rsync(1) and rsyncd.conf(5) man pages for help

# This line is required by the /etc/init.d/rsyncd script
# GLOBAL OPTIONS
uid = root
gid = root

use chroot = no

read only = yes

#limit access to private LANs
hosts allow=172.16.0.0/255.255.0.0 192.168.1.0/255.255.255.0 10.0.1.0/255.255.255.0
hosts deny=*
max connections = 5

pid file = /var/run/rsyncd.pid

secrets file = /etc/rsyncd/rsyncd.secrets
#lock file = /var/run/rsync.lock

motd file = /etc/rsyncd/rsyncd.motd

#This will give you a separate log file
log file = /var/log/rsync.log

#This will log every file transferred - up to 85,000+ per user, per sync
transfer logging = yes

log format = %t %a %m %f %b
syslog facility = local3
timeout = 300

# MODULE OPTIONS
[davidhome]
path = /home/david/
list=yes
ignore errors
auth users = david
comment = David home
exclude = important/

[chinatmp]
path = /tmp/china/
list=no
ignore errors
auth users = china
comment = tmp_china
复制代码
b. 建立/etc/rsyncd/rsyncd.secrets文件

# vim /etc/rsyncd/rsyncd.secrets

david:asdf #格式 用户名:口令
china:jk #该用户不要求是系统用户

c. 为了密码的安全性，我们把权限设为600

# chown root:root /etc/rsyncd/rsyncd.secrets

# chmod 600 /etc/rsyncd/rsyncd.secrets

d. 建立连接到服务器的客户端看到的欢迎信息文件/etc/rsyncd/rsyncd.motd

# vim /etc/rsyncd/rsyncd.motd

+++++++++++++++++++++++++++
+ David Camp +
+++++++++++++++++++++++++++

e. 启动rsync

# /etc/init.d/xinetd restart

f. 查看873端口是否起来

# netstat -an | grep 873

如果rsync启动成功的话可以看到873端口已经在监听了。

g. 服务器端文件详细

 

5.2. 客户端配置

a. 客户端安装rsync

# yum -y install rsync

b. 通过rsync客户端来同步数据

场景一：

# rsync -avzP david@172.16.1.135::davidhome /tmp/david/

 

Password: 这里要输入david的密码，是服务器端提供的，在前面的例子中，我们用的是 asdf，输入的密码并不显示出来；输好后就回车；
注： 这个命令的意思就是说，用david 用户登录到服务器上，把davidhome数据，同步到本地目录/tmp/david/上。当然本地的目录是可以你自己定义的，比如 dave也是可以的；当你在客户端上，当前操作的目录下没有davidhome这个目录时，系统会自动为你创建一个；当存在davidhome这个目录中，你要注意它的写权限。

说明：
-a 参数，相当于-rlptgoD，-r 是递归 -l 是链接文件，意思是拷贝链接文件；-p 表示保持文件原有权限；-t 保持文件原有时间；-g 保持文件原有用户组；-o 保持文件原有属主；-D 相当于块设备文件；
-z 传输时压缩；
-P 传输进度；
-v 传输时的进度等信息，和-P有点关系，自己试试。可以看文档；

场景二：
# rsync -avzP --delete david@172.16.1.135::davidhome /tmp/david/

 

这回我们引入一个 –delete 选项，表示客户端上的数据要与服务器端完全一致，如果 /tmp/david/目录中有服务器上不存在的文件，则删除。最终目的是让/tmp/david/目录上的数据完全与服务器上保持一致；用的时候要小心点，最好不要把已经有重要数所据的目录，当做本地更新目录，否则会把你的数据全部删除；

场景三：
# rsync -avzP --delete --password-file=/tmp/rsync.password david@172.16.1.135::davidhome /tmp/david/

 

这次我们加了一个选项 –password-file=rsync.password ，这时当我们以david用户登录rsync服务器同步数据时，密码将读取 /tmp/rsync.password 这个文件。这个文件内容只是david用户的密码。我们要如下做；

# touch /tmp/rsync.password
# chmod 600 /tmp/rsync.password
# echo "asdf"> /tmp/rsync.password
# rsync -avzP --delete --password-file=/tmp/rsync.password david@172.16.1.135::davidhome /tmp/david/

注： 这样就不需要密码了；其实这是比较重要的，因为服务器通过crond 计划任务还是有必要的；

5.3. rsync 客户端自动与服务器同步数据

编辑crontab
# crontab -e
加入如下代码：

10 0 * * * rsync -avzP --delete --password-file=/tmp/rsync.password david@172.16.1.135::davidhome /tmp/david/
表示每天0点10分执行后面的命令。

六、错误分析

@ERROR: chdir failed
rsync error: error starting client-server protocol (code 5) at main.c(1530) [receiver=3.0.6]

rsync: opendir "." (in xxxxxxx) failed: Permission denied (13)

 

解决办法：

1、将 selinux 对 rsync 的限制全部去掉：
# /usr/sbin/setsebool -P rsync_disable_trans 1
# service xinetd restart

2、狠一点，禁止整个 selinux ：
# vim /etc/selinux/config
将其中的 SELINUX=enforcing 修改为 SELINUX=disabled
保存退出后，重启机器。

至此，rsync服务器配置完毕。

七、参考

关于rsync 命令的使用，请参考：http://www.howtocn.org/rsync:use_rsync

关于rsync 服务的详细说明，请参考：http://www.howtocn.org/rsync:use_rsync_server