企业集群架构-02-Rsync

Rsync

Rsync
数据实时同步

Rsync基本概述

rsync是一款开源、快速、多功能、可实现全量及增量的本地或远程数据同步备份的优秀工具。rsync软件适用于Unix/linux/Windows等多种操作系统平台。

Rsync简介

rsync英文称为remote synchronization，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。

在同步数据的时候，默认情况下，rsync通过其独特的“quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可根据权限、属主等属性的变化同步，但是需要制定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以，可是实现快速的同步备份数据。

rsync官方地址：TP
rsync监听端口：873
rsync运行模式：C/S

小提示：利用rsync还可以实现删除文件和目录的功能，这又相当于rm命令，一个rsync相当于scp、cp、rm，但是还优于他们的每一个命令。

Rsync的特性

支持拷贝特殊文件，如连接文件、设备等。
可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。
可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。
可以通过socket（进程方式）传输文件和数据（服务端和客户端）*****。
支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。

生产场景架构集群备份方案

1.借助cron+rsync把所有客户服务器数据同步到备份服务器。
2.针对公司重要数据备份混乱状况和领导提出备份全网数据的解决方案。
3.通过本地打包备份，然后rsync结合inotify应用把全网数统一备份到一个固定存储服务器，然后在存储服务器上通过脚本检查并报警管理员备份结果。
4.定期将IDC机房的数据备份公司的内部服务器，防止机房地震及火灾问题导致数据丢失。
5.实时同步，解决存储服务器等的单点问题。

备份类型介绍

完全备份
增量备份

假设客户端上有file1 file2 file3文件，服务端上有file1 file2文件，现要将客户端上的数据备份至服务端

全量备份，将客户端所有的数据内容file1 file2 file3全部备份至服务端 (效率低下, 占用空间)

增量备份，只将客户端的file3增量备份至服务端 (提高备份效率,节省空间, 适合异地备份 )

Rsync应用场景

Rync的数据同步模式

1.推: 所有主机推送本地数据至Rsync备份服务器，会导致数据同步缓慢(适合少量数据备份)

2.拉: rsync备份服务端拉取所有主机上的数据，会导致备份服务器开销大

3.大量服务器备份场景

4.异地备份实现思路

Rsync传输模式

Rsync使用三种主要的数据传输方式

本地方式
远程方式
守护进程

本地传输方式

单个主机本地之间的数据传输(此时类似于cp命令)

Local: rsync [OPTION...] SRC... [DEST]
rsync       # 备份命令(cp)
[options]   # 选项
SRC...      # 本地源文件
[DEST]      # 本地目标文件

rsync  -avz  /etc/passwd  /tmp/

远程传输方式

通过ssh通道传输数据,类似scp命令

#pull拉取数据命令
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
#pull拉取数据示例
[root@backup ~]# rsync -avz root@172.16.1.41:/etc/hostname ./   #拉取远程文件
[root@backup ~]# rsync -avz root@172.16.1.41:/root/ /backup/   #拉取远程目录下的所有文件
[root@backup ~]# rsync -avz root@172.16.1.41:/root /backup/    #拉取远程目录以及目录下的所有文件
Pull        #拉取, 下载
rsync       #备份命令
[options]   #选项
[USER@]     #目标主机的系统用户
HOST        #目主机IP地址或域名
SRC...      #目标主机源文件
[DEST]      #下载至本地哪个位置
	 

#push推送数据命令
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
#push推送数据示例
rsync -avz /backup/2018-10-01 root@172.16.1.41:/tmp/
Push        #推送, 上传
rsync       #备份命令
[options]   #选项
SRC...      #本地源文件
[USER@]     #目标主机的系统用户
HOST        #目主机IP地址或域名
[DEST]      #目标对应位置

Rsync借助SSH协议同步数据存在的缺陷

1.使用系统用户（不安全）
2.使用普通用户（会导致权限不足情况）

守护进程传输方式

rsync自身非常重要的功能(不使用系统用户，更加安全)

#pull拉取数据命令
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
#1.拉取rsync备份服务的"backup模块"至本地/mnt目录
[root@nfs01 ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /mnt/ --password-file=/etc/rsync.password
rsync           #命令
[OPTION...]     #选项
[USER@]         #远程主机用户(虚拟用户)
HOST::          #远程主机地址  
SRC...          #远程主机模块(不是目录)
[DEST]          #将远程主机数据备份至本地什么位置     


#push推送数据命令
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
#2.将本地/mnt目录推送至rsync备份服务器的"backup模块"
[root@nfs01 ~]# rsync -avz /mnt/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password
rsync           #命令
[OPTION...]     #选项
SRC...          #远程主机模块(不是目录)
[USER@]         #远程主机用户(虚拟用户)
HOST::          #远程主机地址
[DEST]          #将远程主机模块备份至本地什么位置

Rsync命令对应选项

-a	                  # 归档模式传输, 等于-tropgDl
-v	                  # 详细模式输出, 打印速率, 文件数量等
-z	                  # 传输时进行压缩以提高效率
-r	                  # 递归传输目录及子目录，即目录下得所有目录都同样传输
-R, --relative        # 使用相对路径名
-t	                  # 保持文件时间信息
-o	                  # 保持文件属主信息
-p	                  # 保持文件权限
-g	                  # 保持文件属组信息
-l	                  # 保留软连接
-P	                  # 显示同步的过程及传输时的进度等信息
-D	                  # 保持设备文件信息
-L                    # 保留软连接指向的目标文件
-e	                  # 使用的信道协议,指定替代rsh的shell程序
--exclude=PATTERN     # 指定排除不需要传输的文件模式
--exclude-from=file   # 从文件读取排除列表
--bwlimit=100         # 限速传输
--partial             # 断点续传
--delete              # 让目标目录和源目录数据保持一致, 从目标目录中删除无关文件
--password-file=file  # 指定密码文件

Rsync服务使用

准备

主机角色	外网IP(WAN)	内网IP(LAN)	主机名称
Rsync服务端	10.0.0.41	172.16.1.41	backup
Rsync客户端	10.0.0.31	172.16.1.31	nfs

（1）服务端安装Rsync

[root@backup ~]# yum -y install rsync

（2）服务端配置Rsync

[root@backup ~]# cat /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log

[backup]
comment = welcome to oldboyedu backup!
path = /backup

/etc/rsyncd.conf配置文件详解:
- 配置项放在模块外是全局配置，对所有模块生效
- 配置项放在模块中是局部配置，仅对该模块生效
- 可以创建多个模块用于多线程，多目录操作

[root@backup ~]# cat /etc/rsyncd.conf
uid = rsync                      # 运行进程的用户
gid = rsync                      # 运行进程的用户组
port = 873                       # 监听端口
fake super = yes                 # 无需让rsync以root身份运行，允许接收文件的完整属性
use chroot = no                  # 禁锢推送的数据至某个目录, 不允许跳出该目录
max connections = 0              # 0是最大并发连接数不限制
timeout = 600                    # 超时时间
ignore errors                    # 忽略错误信息
exclude = lost+found/            # 排除选项
log file = /var/log/rsyncd.log   # 指定日志文件路径, 默认
pid file = /var/run/rsyncd.pid   # pid文件路径
lock file = /var/run/rsyncd.lock # 锁文件路径
read only = false                # 对备份数据可读写
list = false                     # 不允许查看模块信息
reverse lookup = no              # 不做解析反向解析
hosts allow = 172.16.1.0/24      # 允许172.16.1.0网段访问
auth users = rsync_backup        # 定义连接认证用户
secrets file = /etc/rsync.passwd # 定义连接认证用户密码文件路径

[backup]                         # 定义模块信息
comment = commit                 # 模块注释信息
path = /backup                   # 定义接收备份数据目录

（3）服务端创建用户

创建一个用来运行rsync服务的用户身份，不允许登录，不创建家目录

[root@backup ~]# useradd -M -s /sbin/nologin rsync

（4）服务端准备同步目录

同步目录的磁盘空间尽可能足够大,授权rsync用户为属主

[root@backup ~]# mkdir /backup
[root@backup ~]# chown -R rsync.rsync /backup/

（5）服务端虚拟用户配置

创建虚拟用户密码文件, 授权600安全权限(用于客户端连接时使用的用户)

[root@backup ~]# echo "rsync_backup:123456" >/etc/rsync.passwd
[root@backup ~]# chmod 600 /etc/rsync.passwd  # 修改权限，避免其他人看见此文件的用户名密码

（6）服务端启动

启动rsync服务，并将rsync加入开机自启动

[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd

（7）服务端检查服务和端口

[root@backup ~]# systemctl status rsyncd.service 
● rsyncd.service - fast remote file copy program daemon
   Loaded: loaded (/usr/lib/systemd/system/rsyncd.service; enabled; vendor preset: disabled)
   Active: active (running) since Mon 2020-08-31 14:49:55 CST; 15min ago
 Main PID: 24685 (rsync)
   CGroup: /system.slice/rsyncd.service
           └─24685 /usr/bin/rsync --daem..
[root@backup ~]# netstat -lntup | grep 873
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      24685/rsync         
tcp6       0      0 :::873                  :::*                    LISTEN      24685/rsync

（8）客户端安装`rsync`配置免密

[root@nfs ~]# yum -y install rsync

# 方式一：适合终端执行指定用户密码文件
[root@nfs ~]# echo "123456" > /etc/rsync.passwd
[root@nfs ~]# chmod 600 /etc/rsync.passwd

# 方式二：脚本中使用环境变量RSYNC_PASSWORD，强烈推荐
[root@nfs ~]# export RSYNC_PASSWORD=123456

客户端推送backup目录下所有内容至Rsync服务端

[root@nfs01 ~]# export RSYNC_PASSWORD=123456
[root@nfs01 ~]# rsync -avz /backup/ rsync_backup@172.16.1.41::backup/

客户端拉取Rsync服务端 backup模块数据至本地客户端的 /backup目录

[root@nfs01 ~]# export RSYNC_PASSWORD=123456
[root@nfs01 ~]# rsync -avz rsync_backup@172.16.1.41::backup /backup/

Rsync实现数据无差异同步

# 拉取远端数据：远端与本地保持一致,远端没有本地有会被删除, 造成客户端数据丢失
[root@nfs01 ~]# export RSYNC_PASSWORD=123456
[root@nfs01 ~]# rsync -avz --delete rsync_backup@172.16.1.41::backup/ /backup/

# 推送数据至远端：本地与远端保持一致, 本地没有远端会被删除, 造成服务器端数据丢失
[root@nfs01 ~]# export RSYNC_PASSWORD=123456
[root@nfs01 ~]# rsync -avz --delete /data/ rsync_backup@172.16.1.41::backup/

Rsync的Limit限速

[root@nfs01 ~]# export RSYNC_PASSWORD=123456
[root@nfs01 ~]# rsync -avz --bwlimit=1 rsync_backup@172.16.1.41::backup/ /backup/

Rsync备份案例

使用3台服务器主机名分别为web01、backup 、nfs主机信息见下表:

角色	外网IP(WAN)	内网IP(LAN)	主机名
WEB	eth0:10.0.0.7	eth1:172.16.1.7	web01
NFS	eth0:10.0.0.31	eth1:172.16.1.31	nfs01
Rsync	eth0:10.0.0.41	eth1:172.16.1.41	backup

客户端需求

1.客户端提前准备存放的备份的目录，目录规则如下:/backup/nfs_172.16.1.31_2018-09-02
2.客户端在本地打包备份(系统配置文件、应用配置等)拷贝至/backup/nfs_172.16.1.31_2018-09-02
3.客户端最后将备份的数据进行推送至备份服务器
4.客户端每天凌晨1点定时执行该脚本
5.客户端服务器本地保留最近7天的数据, 避免浪费磁盘空间

服务端需求

1.服务端部署rsync，用于接收客户端推送过来的备份数据
2.服务端需要每天校验客户端推送过来的数据是否完整
3.服务端需要每天校验的结果通知给管理员
4.服务端仅保留6个月的备份数据,其余的全部删除

注意：所有服务器的备份目录必须都为/backup

建议备份的数据内容如下：

# 1.开机自启动配置文件  设备挂载配置文件  本地内网配置文件    (系统配置文件)
/etc/rc.local       /etc/fstab      /etc/hosts              

# 2.cron定时任务     firewalld防火墙      脚本目录         (重要目录)
/var/spool/cron/    /etc/firewalld     /server/scripts

# 3.系统日志文件
/var/log/   //系统安全日志、sudo日志、内核日志、rsyslog日志

# 4.应用程序服务配置文件 nginx、PHP、mysql、redis.....

客户端备份实现思路,每天凌晨01点定时执行一次脚本（打包->标记->推送->保留最近7天的文件）

[root@nfs scripts]# cat /server/scripts/client_rsync_backup.sh
#!/usr/bin/bash

# 1.定义变量
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
Host=$(hostname)
Addr=$(ifconfig eth1|awk 'NR==2{print $2}')
Date=$(date +%F)
Dest=${Host}_${Addr}_${Date}
Path=/backup

# 2.创建备份目录
[ -d $Path/$Dest ] || mkdir -p $Path/$Dest

# 3.备份对应的文件
cd / && \
[ -f $Path/$Dest/system.tar.gz ] || tar czf $Path/$Dest/system.tar.gz etc/fstab etc/rsyncd.conf && \
[ -f $Path/$Dest/log.tar.gz ] || tar czf $Path/$Dest/log.tar.gz var/log/messages var/log/secure && \

# 4.携带md5验证信息
[ -f $Path/$Dest/flag ] || md5sum $Path/$Dest/*.tar.gz >$Path/$Dest/flag_$Date

# 5.推送本地数据至备份服务器
export RSYNC_PASSWORD=123456
rsync -avz $Path/ rsync_backup@172.16.1.41::backup

# 6.本地保留最近7天的数据
find $Path/ -type d -mtime +7 | xargs rm -rf

客户端编写定时任务,让备份每天凌晨1点执行

00 01 * * * /bin/bash /server/scripts/client_rsync_backup.sh &>/dev/null

服务端校验客户端推送数据的完整性, (校验->存储校验结果->将保存的结果通过邮件发送给管理员->保留最近180天的数据)

# 1.服务端配置邮件功能
[root@backup /]# yum install mailx -y
[root@backup /]# vim /etc/mail.rc        # 文件最后添加
set from=2267238934@qq.com               # 邮件来源(发件人)
set smtp=smtps://smtp.qq.com:465         # smtp服务器地址
set smtp-auth-user=2267238934@qq.com     # 发件人邮箱帐号
set smtp-auth-password=xcvzpqgrjtmuecaa  # smtp客户端授权密码，登录邮箱设置，并非邮箱密码!
set smtp-auth=login                      # 需要登录认证
set ssl-verify=ignore                    # 忽略证书警告
set nss-config-dir=/etc/pki/nssdb/       # 证书所在目录

# 2.服务端校验、以及邮件通知脚本
[root@backup ~]# mkdir /server/scripts -p
[root@backup ~]# vim /server/scripts/check_backup.sh
#!/usr/bin/bash
# 1.定义全局的变量
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
# 2.定义局部变量
Path=/backup
Date=$(date +%F)
# 3.查看flag文件,并对该文件进行校验, 然后将校验的结果保存至result_时间
find $Path/ -type f -name "flag_$Date"|xargs md5sum -c >$Path/result_${Date}
# 4.将校验的结果发送邮件给管理员
mailx -s "Rsync Backup $Date" 593528156@qq.com <$Path/result_${Date}
# 5.删除超过7天的校验结果文件, 删除超过180天的备份数据文件
find $Path/ -type f -name "result*" -mtime +7|xargs rm -f
find $Path/ -type d -mtime +180|xargs rm -rf

服务端编写定时任务脚本

00 05 * * * /bin/bash /server/scripts/check_backup.sh &>/dev/null

扩展多台客户端

对其他客户端重复1. 2. 步即可

数据实时同步

实现实时同步要利用监控服务（inotify），监控同步数据服务器目录中信息的变化，发现目录中数据产生变化，就利用rsync服务推送到备份服务器上

实现实时同步的方法：

inotify+rsync
1. inotify-tools和rsync：
  - 随着文件数量的增大到100W+，目录下的文件列表就达20M，在网络状况不佳或者限速的情况下，变更的文件可能10来个才几M，却因此要发送的文件列表就达20M，严重减低的带宽的使用效率以及同步效率；
  - 假如inotifywait在5s内监控到10个小文件发生变化，便会触发10个rsync同步操作，结果就是真正需要传输的才2-3M的文件，比对的文件列表就达200M。
  - 使用这两个组合的好处在于，它们都是最基本的软件，可以通过不同选项做到很精确的控制，比如排除同步的目录，同步多个模块或同步到多个主机。
2. lsyncd：
  - 是一个支持实时、双向、多机器的多模式文件同步工具。使用 Lua 语言封装了 inotify 和 rsync 。
  - https://github.com/axkibe/lsyncd
  - 完美解决了 inotify+rsync海量文件同步带来的文件频繁发送文件列表的问题 —— 通过时间延迟或累计触发事件次数实现。
  - 实现简单高效的本地目录同步备份（网络存储挂载也当作本地目录），本地目录cp，本地目录rsync，远程目录rsyncssh。
sersync：
- 金山公司周洋在 inotify 软件基础上进行开发的，使用c++编写，采用多线程的方式进行同步，失败后还有重传机制，对临时文件过滤，自带crontab定时同步功能。
- 国产开源，文档不全，在2011年之后就没更新了
- 采用xml配置文件，可读性较好，有些原生功能没有实现：
  - 无法实现多目录同步，只能通过多个配置文件启动多个进程
  - 文件排除功能太弱。

inotify基本概述

异步的文件系统事件监控机制，利用事件驱动机制，而无须通过诸如cron等的轮询机制来获取事件，linux内核从2.6.13起支持 inotify，通过inotify可以监控文件系统中添加、删除，修改、移动等各种事件

查看服务器内核是否支持inotify

Linux下支持inotify的内核最小为2.6.13

$ ll /proc/sys/fs/inotify      # 列出下面的文件，说明服务器内核支持inotify
-rw-r--r-- 1 root root 0 Dec 7 10:10 max_queued_events
-rw-r--r-- 1 root root 0 Dec 7 10:10 max_user_instances
-rw-r--r-- 1 root root 0 Dec 6 05:54 max_user_watches

inotify内核参数

参数说明：参看man 7 inotify

max_queued_events：    inotify事件队列最大长度，如值太小会出现 Event Queue Overflow 错误，默认值：16384
max_user_watches：     可以监视的文件数量（单进程），默认值：8192
max_user_instances：   每个用户创建inotify实例最大值，默认值：128

inotify参考文档

https://github.com/rvoicilas/inotify-tools/wiki

客户端安装inotify：基于epel源

yum -y install inotify-tools

Inotify-tools包主要文件：

inotifywait： 在被监控的文件或目录上等待特定文件系统事件（open close delete等）发生，常用于实时同步的目录监控
inotifywatch：收集被监控的文件系统使用的统计数据，指文件系统事件发生的次数统计

inotifywait命令常见选项：

-m, --monitor        始终保持事件监听
-d, --daemon         以守护进程方式执行，和-m相似，配合-o使用
-r, --recursive      递归监控目录数据信息变化
-q, --quiet          静默，仅打印时间信息
--exclude <pattern>  指定排除文件或目录，使用扩展的正则表达式匹配的模式实现
--excludei <pattern> 和exclude相似，不区分大小写
-o, --outfile <file> 打印事件到文件中，相当于标准正确输出
-s, --syslogOutput   发送错误到syslog，相当于标准错误输出
--timefmt <fmt>      指定时间输出格式，参考 man 3 strftime
           %Y 年份信息，包含世纪信息
           %y 年份信息，不包括世纪信息
           %m 显示月份，范围 01-12
           %d 每月的第几天，范围是 01-31
           %H 小时信息，使用 24小时制，范围 00-23
           %M 分钟，范围 00-59

--format <fmt>        指定事件输出格式；即实际监控输出内容
          %T  输出时间格式中定义的时间格式信息，通过 --timefmt option 语法格式指定时间信息
          %w  事件出现时，监控文件或目录的名称信息
          %f  事件出现时，将显示监控目录下触发事件的文件或目录信息，否则为空
          %e  显示发生的事件信息，不同的事件默认用逗号分隔
          %Xe 显示发生的事件信息，不同的事件指定用X进行分隔

-e                    指定监控的事件，用逗号分隔，如果省略，表示所有事件都进行监听
   access 文件或目录内容被读取
   modify 文件或目录内容被写入
   create 文件或目录创建
   delete 文件或目录被删除
   attrib 文件或目录属性改变
   open 文件或目录被打开
   close 文件或目录关闭，不管读或是写模式
   close_write 文件或目录关闭，在写入模式打开之后关闭的
   close_nowrite 文件或目录关闭，在只读模式打开之后关闭的
   moved_to 文件或目录被移动到监控的目录中
   moved_from 文件或目录从监控的目录中被移动
   move 文件或目录不管移动到或是移出监控目录都触发事件
   delete_self 文件或目录被删除，目录本身被删除
   unmount 取消挂载

示例：

--timefmt "%Y-%m-%d %H:%M"
--format "%T %w %f event: %;e"
--format '%T %w %f'
-e create,delete,moved_to,close_write

监控一次性事件

inotifywait /data

持续监控

inotifywait -mrq /data

持续后台监控，并记录日志

inotifywait -o /root/inotify.log -drq /data --timefmt "%Y-%m-%d %H:%M" --format "%T %w%f event: %e"

持续后台监控特定事件

inotifywait -mrq /data --timefmt "%F %H:%M" --format "%T %w%f event: %;e" -e create,delete,moved_to,close_write,attrib

持续后台监控特定事件测试

（1）安装inotify-tools包

yum install inotify-tools  -y
[root@centos7 ~]#

（2）监控backup目录下的文件

inotifywait -mrq /backup --timefmt "%F %H:%M" --format "%T %w%f event: %;e" -e create,delete,moved_to,close_write,attrib

（3）新开一个窗口在data目录下进行操作　

[root@centos7 data]# touch f1
[root@centos7 data]# chown wang f2

（4）可以看到监控窗口下实时监控此时对data目录的操作记录

[Fri Aug 28 11:40:05 CST 2020] [root@nfs ~]
$ inotifywait -mrq /backup --timefmt "%F %H:%M" --formate,attrib
2020-08-31 08:51 /backup/f1 event: CREATE
2020-08-31 08:51 /backup/f1 event: ATTRIB
2020-08-31 08:51 /backup/f1 event: CLOSE_WRITE;CLOSE
2020-08-31 08:52 /backup/f1 event: ATTRIB

inotify+rsync实现实时同步

（1）安装配置rsync服务，Rsync服务使用（1）-（8）

（2）服务端对backup目录进行监控，1秒监控一次目录

[root@backup ~]# watch -n1 ls -l /backup

（3）客户端测试rsync同步数据

[root@nfs ~]# export RSYNC_PASSWORD=123456
[Mon Aug 31 15:36:01 CST 2020] [root@nfs ~]
rsync -avz /backup/ rsync_backup@172.16.1.41::backup
sending incremental file list
./
f1
i

sent 164 bytes  received 65 bytes  458.00 bytes/sec
total size is 0  speedup is 0.00

（4）服务器端此时监控到backup目录下的文件已经同步过来

Every 1.0s: l...  Mon Aug 31 15:36:48 2020

total 0
-rwxrwxrwx 1 rsync rsync  0 Aug 31 08:51 f
1
-rw-r--r-- 1 rsync rsync  0 Aug 30 22:56 i

（5）客户端安装`inotify`：基于epel源

[root@nfs ~]# yum -y install inotify-tools

（6）客户端创建脚本`vi inotify_rsync.sh`，实现实时同步效果

#!/bin/bash
SRC='/backup/'
DEST='rsync_backup@172.16.1.41::backup'
inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w %f' -e attrib,create,delete,moved_to,close_write ${SRC} | while read DATE TIME DIR FILE;do
FILEPATH=${DIR}${FILE}
rsync -az --delete --password-file=/etc/rsync.passwd $SRC $DEST && echo "At ${TIME} on ${DATE}, file $FILEPATH was backuped up via rsync" >> /var/log/changelist.log  # 指定日志文件
done &

（7）客户端执行脚本，并跟踪指定的日志文件

[root@nfs ~]# bash inotify_rsync.sh
[root@nfs ~]# tail -f /var/log/changelist.log
At 16:16 on 2020-08-31, file /backup/1 was backuped up via rsync
At 16:16 on 2020-08-31, file /backup/1 was backuped up via rsync
At 16:16 on 2020-08-31, file /backup/1 was backuped up via rsync
At 16:16 on 2020-08-31, file /backup/1 was backuped up via rsync
At 16:17 on 2020-08-31, file /backup/1 was backuped up via rsync
At 16:17 on 2020-08-31, file /backup/1 was backuped up via rsync
At 16:17 on 2020-08-31, file /backup/1 was backuped up via rsync
At 16:17 on 2020-08-31, file /backup/1 was backuped up via rsync

（8）服务端跟踪此时backup目录内容

[root@backup ~]# watch -n1 ls -l /backup

（9）验证效果，在客户端backup目录下进行文件操作

[root@nfs ~]# cd /backup
[Mon Aug 31 16:16:37] [root@nfs /backup]
# touch 1
[Mon Aug 31 16:16:52] [root@nfs /backup]
# echo 111 >> 1
[Mon Aug 31 16:17:04] [root@nfs /backup]
# rm -rf 1

观察:

客户端日志文件变化情况

服务端backup目录内容跟踪结果

（10）想要注销后仍在后台运行进程，使用`nohup`

nohup bash inotify_rsync.sh

注意:

输出重定向到当前目录的 nohup.out或者$HOME/nohup.out

停止只能使用kill -9 PID

（11）开机启动，将（10）命令加入`/etc/rc.local`

lsyncd —— 多机器实时同步文件神器

lsyncd 是一个支持实时、双向、多机器的多模式文件同步工具。

使用 Lua 语言封装了 inotify 和 rsync 工具，采用了 Linux 内核（2.6.13 及以后）里的 inotify 触发机制，然后通过 rsync 去差异同步，达到实时的效果。

安装

基于epel源安装：

yum -y install lsyncd

源码编译安装：

从源码编译安装可以使用最新版的lsyncd程序，但必须要相应的依赖库文件和编译工具：yum install lua lua-devel asciidoc cmake。

从 googlecode lsyncd 上下载的lsyncd-2.1.5.tar.gz，直接./configure、make && make install就可以了。

从github上下载lsyncd-master.zip 的2.1.5版本使用的是 cmake 编译工具，无法./configure：

uzip lsyncd-master.zip
cd lsyncd-master
cmake -DCMAKE_INSTALL_PREFIX=/usr/local/lsyncd-2.1.5
make && make install

我这个版本编译时有个小bug，如果按照INSTALL在build目录中make，会提示：

[100%] Generating doc/lsyncd.1
Updating the manpage
a2x: failed: source file not found: doc/lsyncd.1.txt
make[2]: *** [doc/lsyncd.1] Error 1
make[1]: *** [CMakeFiles/manpage.dir/all] Error 2
make: *** [all] Error 2

解决办法是要么直接在解压目录下cmake，不要mkdir build，要么在CMakeList.txt中搜索doc字符串，在前面加上${PROJECT_SOURCE_DIR}。

配置

lsyncd 主配置文件，假设放置在`/etc/lsyncd.conf`:

settings {
    nodaemon = false,
    logfile = "/var/log/lsyncd.log",
    statusFile = "/var/log/lsyncd.status",
    inotifyMode = "CloseWrite",
    maxProcesses = 8
}

-- 可以有多个sync，各自的source，各自的target，各自的模式，互不影响。
sync {
    default.rsyncssh,
    source    = "/home/wwwroot/web1/",
    host      = "111.222.333.444",
    targetdir = "/home/wwwroot/web1/",
    -- 忽略文件路径规则，可用table也可用外部配置文件
    -- excludeFrom = "/etc/lsyncd_exclude.lst",
    exclude = {
        ".svn",
        "Runtime/**",
        "Uploads/**",
    },
    -- maxDelays = 5,
    delay = 0,
    -- init = false,
    rsync = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        verbose = true,
        _extra = {"--bwlimit=2000"},
    },
}

编译安装的，简化配置

# cd /usr/local/lsyncd-2.1.5
# mkdir etc var
# vi etc/lsyncd.conf
settings {
    logfile ="/usr/local/lsyncd-2.1.5/var/lsyncd.log",
    statusFile ="/usr/local/lsyncd-2.1.5/var/lsyncd.status",
    inotifyMode = "CloseWrite",
    maxProcesses = 7,
    -- nodaemon =true,
}

sync {
    default.rsync,
    source = "/tmp/src",
    target = "/tmp/dest",
    -- excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
    rsync = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        verbose = true
    }
}

lsyncd.conf 配置选项说明

settings

里面是全局设置，--开头表示注释，下面是几个常用选项说明：

logfile 定义日志文件
stausFile 定义状态文件
nodaemon=true 表示不启用守护模式，默认
statusInterval 将lsyncd的状态写入上面的statusFile的间隔，默认10秒
inotifyMode 指定inotify监控的事件，默认是CloseWrite，还可以是Modify或CloseWrite or Modify
maxProcesses 同步进程的最大个数。假如同时有20个文件需要同步，而maxProcesses = 8，则最大能看到有8个rysnc进程
maxDelays 累计到多少所监控的事件激活一次同步，即使后面的delay延迟时间还未到

sync

里面是定义同步参数，可以继续使用maxDelays来重写settings的全局变量。一般第一个参数指定lsyncd以什么模式运行：rsync、rsyncssh、direct三种模式：

default.rsync ：本地目录间同步，使用rsync，也可以达到使用ssh形式的远程rsync效果，或daemon方式连接远程rsyncd进程；
default.direct ：本地目录间同步，使用cp、rm等命令完成差异文件备份；
default.rsyncssh ：同步到远程主机目录，rsync的ssh模式，需要使用key来认证
source 同步的源目录，使用绝对路径。
target 定义目的地址.对应不同的模式有几种写法：
/tmp/dest ：本地目录同步，可用于direct和rsync模式
172.29.88.223:/tmp/dest ：同步到远程服务器目录，可用于rsync和rsyncssh模式，拼接的命令类似于/usr/bin/rsync -ltsd --delete --include-from=- --exclude=* SOURCE TARGET，剩下的就是rsync的内容了，比如指定username，免密码同步
172.29.88.223::module ：同步到远程服务器目录，用于rsync模式
三种模式的示例会在后面给出。
init 这是一个优化选项，当init = false，只同步进程启动以后发生改动事件的文件，原有的目录即使有差异也不会同步。默认是true
delay 累计事件，等待rsync同步延时时间，默认15秒（最大累计到1000个不可合并的事件）。也就是15s内监控目录下发生的改动，会累积到一次rsync同步，避免过于频繁的同步。（可合并的意思是，15s内两次修改了同一文件，最后只同步最新的文件）
excludeFrom 排除选项，后面指定排除的列表文件，如excludeFrom = "/etc/lsyncd.exclude"，如果是简单的排除，可以使用exclude = LIST。

这里的排除规则写法与原生rsync有点不同，更为简单：
- 监控路径里的任何部分匹配到一个文本，都会被排除，例如/bin/foo/bar可以匹配规则foo
- 如果规则以斜线/开头，则从头开始要匹配全部
- 如果规则以/结尾，则要匹配监控路径的末尾
- ?匹配任何字符，但不包括/
- *匹配0或多个字符，但不包括/
- **匹配0或多个字符，可以是/
delete 为了保持target与souce完全同步，Lsyncd默认会delete = true来允许同步删除。它除了false，还有startup、running值，请参考 [Lsyncd 2.1.x ‖ Layer 4 Config ‖ Default Behavior](https://github.com/axkibe/lsyncd/wiki/Lsyncd 2.1.x ‖ Layer 4 Config ‖ Default Behavior)。

rsync

（提示一下，delete和exclude本来都是rsync的选项，上面是配置在sync中的，我想这样做的原因是为了减少rsync的开销）

bwlimit 限速，单位kb/s，与rsync相同（这么重要的选项在文档里竟然没有标出）
compress 压缩传输默认为true。在带宽与cpu负载之间权衡，本地目录同步可以考虑把它设为false
perms 默认保留文件权限。
其它rsync的选项

其它还有rsyncssh模式独有的配置项，如host、targetdir、rsync_path、password_file，见后文示例。rsyncOps={"-avz","--delete"}这样的写法在2.1.*版本已经不支持。

lsyncd.conf可以有多个sync，各自的source，各自的target，各自的模式，互不影响。

lsyncd.conf其它模式示例

settings {
    logfile = "/var/log/lsyncd/lsyncd.log",
    statusFile = "/var/log/lsyncd/lsyncd.status",
    inotifyMode = "CloseWrite",
    maxProcesses = 8,
}
-- I. 本地目录同步，direct：cp/rm/mv。 适用：500+万文件，变动不大
sync {
    default.direct,
    source = "/tmp/src",
    target = "/tmp/dest",
    delay = 1
    maxProcesses = 1
}
-- II. 本地目录同步，rsync模式：rsync
sync {
    default.rsync,
    source = "/tmp/src",
    target = "/tmp/dest1",
    excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
    rsync = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        bwlimit = 2000
    }
}
-- III. 远程目录同步，rsync模式 + rsyncd daemon
sync {
    default.rsync,
    source = "/tmp/src",
    target = "syncuser@172.29.88.223::module1",
    delete="running",
    exclude = { ".*", ".tmp" },
    delay = 30,
    init = false,
    rsync = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        verbose = true,
        password_file = "/etc/rsyncd.d/rsync.pwd",
        _extra = {"--bwlimit=200"}
    }
}
-- IV. 远程目录同步，rsync模式 + ssh shell
sync {
    default.rsync,
    source = "/tmp/src",
    target = "172.29.88.223:/tmp/dest",
    -- target = "root@172.29.88.223:/remote/dest",
    -- 上面target，注意如果是普通用户，必须拥有写权限
    maxDelays = 5,
    delay = 30,
    -- init = true,
    rsync = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        bwlimit = 2000
        -- rsh = "/usr/bin/ssh -p 22 -o StrictHostKeyChecking=no"
        -- 如果要指定其它端口，请用上面的rsh
    }
}
-- V. 远程目录同步，rsync模式 + rsyncssh，效果与上面相同
sync {
    default.rsyncssh,
    source = "/tmp/src2",
    host = "172.29.88.223",
    targetdir = "/remote/dir",
    excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
    -- maxDelays = 5,
    delay = 0,
    -- init = false,
    rsync = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        verbose = true,
        _extra = {"--bwlimit=2000"},
    },
    ssh = {
        port = 1234
    }
}

上面的内容几乎涵盖了所有同步的模式，其中第III个要求像rsync一样配置rsyncd服务端，见本文开头。

免密登录

第IV、V配置ssh方式同步，达到的效果相同，但实际同步时你会发现每次同步都会提示输入ssh的密码，可以通过以下方法解决：

在远端被同步的服务器上开启ssh无密码登录，请注意用户身份：

user$ ssh-keygen -t rsa
...一路回车...
user$ cd ~/.ssh
user$ cat id_rsa.pub >> authorized_keys

把id_rsa私钥拷贝到执行lsyncd的机器上

user$ chmod 600 ~/.ssh/id_rsa
测试能否无密码登录
user$ ssh user@172.29.88.223

配置lsyncd日志文件轮转，防止日志文件太大

修改配置文件/etc/logrotate.d/lsyncd

/var/log/lsyncd/*log { 
    missingok 
    notifempty 
    sharedscripts 
    postrotate 
        /etc/rc.d/init.d/lsyncd restart 2>&1 > /dev/null || true 
    endscript 
}

忽略规则

需要忽略同步的文件或文件夹，excludeFrom 选项才配置该文件，exclude 类型的配置不用该配置文件。假设配置文件放在/etc/lsyncd_exclude.lst。

.svn
Runtime/**
Uploads/**

启动

lsyncd -log Exec /etc/lsyncd.conf
# 启动
# 开机启动

参考

posted @ 2021-01-02 17:34 原因与结果阅读(160) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

原因与结果

企业集群架构-02-Rsync

Rsync

Rsync基本概述

Rsync应用场景

Rsync传输模式

Rsync服务使用

（1）服务端安装Rsync

（2）服务端配置Rsync

（3）服务端创建用户

（4）服务端准备同步目录

（5）服务端虚拟用户配置

（6）服务端启动

（7）服务端检查服务和端口

（8）客户端安装rsync配置免密

Rsync备份案例

数据实时同步

数据实时同步

inotify基本概述

持续后台监控特定事件测试

inotify+rsync实现实时同步

（1）安装配置rsync服务，Rsync服务使用（1）-（8）

（2）服务端对backup目录进行监控，1秒监控一次目录

（3）客户端测试rsync同步数据

（4）服务器端此时监控到backup目录下的文件已经同步过来

（5）客户端安装inotify：基于epel源

（6）客户端创建脚本vi inotify_rsync.sh，实现实时同步效果

（7）客户端执行脚本，并跟踪指定的日志文件

（8）服务端跟踪此时backup目录内容

（9）验证效果，在客户端backup目录下进行文件操作

**（10）想要注销后仍在后台运行进程，使用nohup **

（11）开机启动，将（10）命令加入/etc/rc.local

lsyncd —— 多机器实时同步文件神器

安装

配置

lsyncd 主配置文件，假设放置在/etc/lsyncd.conf:

编译安装的，简化配置

lsyncd.conf 配置选项说明

lsyncd.conf其它模式示例

免密登录

配置lsyncd日志文件轮转，防止日志文件太大

忽略规则

启动

参考

公告

（8）客户端安装`rsync`配置免密

（5）客户端安装`inotify`：基于epel源

（6）客户端创建脚本`vi inotify_rsync.sh`，实现实时同步效果

（10）想要注销后仍在后台运行进程，使用`nohup`

（11）开机启动，将（10）命令加入`/etc/rc.local`

lsyncd 主配置文件，假设放置在`/etc/lsyncd.conf`: