rsync远程同步

一、rsync介绍

1.1 rsync简介

• rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。

• rsync软件支持跨平台，适用于unix/ linux/windows等多种操作系统平台

• rsync是一个快速和非常方便的文件复制工具。它能本地复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制

• 以其delta-transfer算法闻名。

• rsync监听端口:873

• rsync运行模式:C/S

1.2 rsync特性

支持拷贝特殊文件，如连接文件、设备等。

可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。

可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。

可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。

可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。

可以通过socket（进程方式）传输文件和数据（服务端和客户端）。

支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。

1.3 rsync同步方式

• 全量备份：原有的数据全部传送，把原来的文件和新的文件一起统一传送，全量复制，效率低
• 增量备份：在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比，把不一样的数据通过网络传输增量复制，效率高

二、rsync同步源服务器

在远程同步任务中，负责发起 rsync 同步操作的客户机称为发起端，而负责响应来自客户机的 rsync 同步操作的服务器称为同步源。

• 在下行同步（下载）中，同步源负责提供文档的原始位置，发起端应对该位置有读取权限。
• 在上行同步（上传）中，同步源负责提供文档的目标位置，发起端应对该位置具有写入权限。

 

 

2.2、rsync与cp、scp对比

• cp命令是一种典型的将文件完整的拷贝到一个位置。而rsync是，第一次拷贝，在目标位置没有的时候，rsync是全量拷贝过去，但是第二次拷贝的时候，只会对差异项进行同步拷贝。所有如果对同一个文件进行二次备份的话，rsync速度会相较于cp而言更快。
• cp只支持本地，而rsync支持远程
• scp是基于cp原理，也是属于完整性拷贝文件。假设rsync和scp拷贝的文件都是第一，目标地址都没有要同步的文件，此时，这两者的差异在于，第一个，这个要传输的文件大不大，第二个要看在传输的过程中，用的带宽大不大。如果文件不大的情况下，scp是把数据从磁盘中的块存储提取出来，封装一下，网络传过去，此时scp更快，如果是更大的文件，比如说40G，带宽只支持100M的带宽，scp想要传输，需要拆分数据，一段一段传输。而rsync会根据一个逻辑意义上的空间，把数据划分出来，把数据先压缩再传输，所以这种方式而言，带宽校，文件大，这个时候先压缩再传输会比较快。此时适合用rsync远程同步。

2.3 scp与rsync的区别

（1）功能差距
rsync远程拷贝可以附带软链接/硬链接。(参数-l 保留软链接，-H 保留硬链接)

scp不支持链接的拷贝。

（2）效率差异
简单的解析scp和rsync，前是复制，后是同步。

rsync和scp在文件夹均不存在时，执行时间相差不大，但是文件夹存在的情况下差异很大。原因是scp是复制：若目的地文件不存在则新建，若存在则覆盖。而rsync是同步，比较两边文件是否相同，相同的话，就什么都不做，若存在差异就直接更新。

起到同步的作用时用rsync会快一些，起到复制作用时两者均可（目的地无文件）。视情况来选择rsync或scp。

三.rsync的工具使用

 基本格式：

 rsync  [选项]  原始位置  目标位置

 

常用选项：

常用选项	说明
-r	递归模式，包含目录及子目录中的所有文件
-l	对于符号链接文件仍然复制为符号链接文件
-v	显示同步过程的详细信息
-z	在传输文件时进行压缩
-a	归档模式，保留文件的权限、属性等信息，等同于“-rlptgoD”
-p	保留文件的权限标记
-t	保留文件的时间标记
-g	保留文件的属组标记（仅超级用户使用）
-o	保留文件的属主标记（仅超级用户使用）
-H	保留硬链接文件
-A	保留ACL属性信息
-D	保留设备文件及其他特殊文件
--delete	删除目标位置有而原始位置没有的文件
--checksum	根据校验和（而不是文件的大小、修改时间）来决定是否跳过文件

 

 

 

 

 

 

 

 

 

 

 

 

 

四、实力操作rsync下行同步（定时同步）

4.1 查看rsync是否安装（系统默认已装）

 

4.2 建立/etc/rsyncd.conf 配置文件

4.3 为备份账户创建数据文件

4.4 保证所有用户对源目录/var/www/html 都有读取权限

4.5 启动 rsync 服务程序

4.6 关闭 rsync 服务的方法

 也可以直接kill+pid号

 

 五、rsync备份

实例操作：发起端进行rsync 备份

环境准备工作：

服务器类型	IP地址	需要安装的组件	其他
rsync源服务器	192.168.108.40	rsync（默认）、httpd	——
rsync客户机（发起端）	192.168.108.50	rsync（默认）	配置免交互

 

 

 

格式一： rsync -avz backuper@192.168.2.66::wwwroot /opt/ #密码123

格式二： rsync -avz rsync://backuper@192.168.2.66/wwwroot /opt/

 

 格式一：

 

 格式二

2 免交互格式配置：

 

 

 

 加入到计划性任务中

六、inotify+rsync 实时同步

1、inotify+rsync 实时同步概述

• 使用inotify通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应

• 将 inotify 机制与 rsync 工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态

• 因为 inotify 通知机制由 Linux 内核提供，因此主要做本机监控，在触发式备份中应用时更适合上行同步

2、定期同步的不足

执行备份的时间固定，延迟明显、实时性差

当同步原长期不变化时，密集的定期任务是不必要的

3、实时同步的优点

一旦同步原出现变化，立即启动备份

只要同步原无变化，则不执行备份

4、Linux内核的inotify机制

从版本2.6.13开始提供

可以监控文件系统的变动情况，并作出通知响应

辅助软件：inotify-tools

5、rsync+inotify实时同步

5.1、调整inotify内核参数

max_queue_events：监控事件队列大小

max_user_instances：最多监控实例数

max_user_watches：每个实例最多监控文件数

5.2、安装inotify-tools辅助工具

inotifywait：用于持续监控，实时输出结果

inotifywatch：用于短期监控，任务完成后再出结果

5.3、通过inodifywait触发rsync同步操作

使用while、read持续获取监控结果

根据结果可以作进一步判断，决定执行何种操作

6、实例操作：配置inotify+rsync 实时同步

 

 

 

 

 

 

 

 

 

 

 

 

 

 执行“inotifywait”命令

 

 

 

 

 

 

 

 

 

 

 

 

七、使用rsync来实现快速删除大量文件。

假如要在Linux下删除大量文件，比如100万、1000万，像/usr/local/nginx/proxy_ temp的nginx缓存等，那么rm -rf *可能就不好使了，因为要等待很长一段时间。在这种情况下我们可以使用rsync来巧妙处理。rsync实际用 的是替换原理。

先建立一个空的文件夹:
mkdir /home/blank

用rsync删除目标目录:

rsync --delete-before -a -H -v --progress --stats /home/blank /usr/local/nginx/proxy_temp
复制代码

这样目标目录很快就被清空了

选项说明:
–delete-before ：接收者在传输进行删除操作
-a ：归档模式，表示以递归方式传输文件，并保持所有文件属性
-H ：保持硬连接的文件
-v ：详细输出模式
–progress ：在传输时显示传输过程
–stats ：给出某些文件的传输状态

八、rsync的应用场景

1、增量同步

2、备份/迁移：可以作为辅助工具（mysql 主从复制 rsync +inotify ——》趋于一致 双向同步——MM，但是只能在并发量不大的时候可以用）

3、假设mysql 从主机A迁移到主机B（一主两从模式）

一主两从模式迁移方案

①确定迁移的时间、业务线停止的时间、要写文档描述具体操作，要发邮件审批

②确认迁移后的节点的环境问题（资源环境 + 系统依赖环境 + mysql内部的格式环境 ------1)例如自增长，自增长可能会导致主从复制不一致的情况 2）版本迁移问题，比如说低版本向高版本迁移。两个版本中的差异比较大，数据迁移比较重要，需要和研发沟通，让研发开发一个工具，让低版本可以转成高版本工具格式，使用工具迁移)

③ 如果数据库是相同版本，可以用rsync + inotify持续同步

④ 测试、之前还要编写回滚方案

⑤ 提交检修申请 22：00 - 00：00