Rsync服务（备份服务项目）

1、rsync服务介绍和使用

Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具

rsync软件使用方法

a 本地备份数据 cp

[root@nfs01 backup]# cp /etc/hosts /tmp
[root@nfs01 backup]# ll /tmp/hosts
-rw-r--r-- 1 root root 371 May 6 16:11 /tmp/hosts
[root@nfs01 backup]# rsync /etc/hosts /tmp/host_rsync
[root@nfs01 backup]# ll /tmp/host_rsync
-rw-r--r-- 1 root root 371 May 6 16:12 /tmp/host_rsync

 

b 远程备份数据 scp

scp -rp /etc/hosts root@172.16.1.41:/backup
root@172.16.1.41's password: 
hosts 100% 371 42.8KB/s 00:00
-r --- 递归复制传输数据
-p --- 保持文件属性信息不变
[root@nfs01 ~]# rsync -rp /etc/hosts 172.16.1.41:/backup/hosts_rsync
root@172.16.1.41's password: 

rsync远程备份目录:
[root@nfs01 ~]# rsync -rp /oldboy 172.16.1.41:/backup --- 备份的目录后面没有 /
root@172.16.1.41's password: 
[root@backup ~]# ll /backup
total 0
drwxr-xr-x 2 root root 48 May 6 16:22 oldboy
[root@backup ~]# tree /backup/
/backup/
└── oldboy
├── 01.txt
├── 02.txt
└── 03.txt

1 directory, 3 files

[root@nfs01 ~]# rsync -rp /oldboy/ 172.16.1.41:/backup --- 备份的目录后面有 / 
root@172.16.1.41's password:
[root@backup ~]# ll /backup
total 0
-rw-r--r-- 1 root root 0 May 6 16:24 01.txt
-rw-r--r-- 1 root root 0 May 6 16:24 02.txt
-rw-r--r-- 1 root root 0 May 6 16:24 03.txt

 

总结: 在使用rsync备份目录时:
备份目录后面有 / -- /oldboy/ : 只将目录下面的内容进行备份传输
备份目录后面没有/ -- /oldboy : 会将目录本身以及下面的内容进行传输备份

c 替代删除命令

rm命令
[root@nfs01 ~]# rsync -rp --delete /null/ 172.16.1.41:/backup
root@172.16.1.41's password:

--delete 实现无差异同步数据
面试题: 有一个存储数据信息的目录, 目录中数据存储了50G数据, 如何将目录中的数据快速删除
rm /目录/* -rf

 

d 替代查看文件命令 ls

[root@backup ~]# ls /etc/hosts
/etc/hosts
[root@backup ~]# rsync /etc/hosts
-rw-r--r-- 371 2019/05/06 11:55:22 hosts

 

 

 

2、rsync命令语法格式

SYNOPSIS
Local: rsync [OPTION...] SRC... [DEST]
本地备份数据: 
src: 要备份的数据信息
dest: 备份到什么路径中

远程备份数据:
Access via remote shell:
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
[USER@] --- 以什么用户身份拉取数据(默认以当前用户)
hosts --- 指定远程主机IP地址或者主机名称
SRC --- 要拉取的数据信息
dest --- 保存到本地的路径信息

Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
SRC --- 本地要进行远程传输备份的数据
[USER@] --- 以什么用户身份推送数据(默认以当前用户)
hosts --- 指定远程主机IP地址或者主机名称
dest --- 保存到远程的路径信息

守护进程方式备份数据 备份服务 
01. 可以进行一些配置管理
02. 可以进行安全策略管理
03. 可以实现自动传输备份数据
Access via rsync daemon:
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

 

3、rsync（客户端---服务端 ）安装和配置

rsync守护进程服务端配置

第一个历程: 下载安装软件

rpm -qa|grep rsync
yum install -y rsync 

 

第二个历程: 编写配置文件
man rsyncd.conf 可以查看详细得配置

##########配置文件解析#############
uid = rsync --- 指定管理备份目录的用户 
gid = rsync --- 指定管理备份目录的用户组
port = 873 --- 定义rsync备份服务的网络端口号
fake super = yes --- 将rsync虚拟用户伪装成为一个超级管理员用户 
use chroot = no --- 和安全相关的配置 #默认为true，修改为no，增加对目录文件软连接的备份
max connections = 200 --- 最大连接数 同时只能有200个客户端连接到备份服务器
timeout = 300 --- 超时时间(单位秒)
pid file = /var/run/rsyncd.pid --- 记录进程号码信息 1.让程序快速停止进程 2. 判断一个服务是否正在运行
lock file = /var/run/rsync.lock --- 锁文件 支持max connections参数的锁文件
log file = /var/log/rsyncd.log --- rsync服务的日志文件 用于排错分析问题，启动rsync后自动产生这个文件，无需提前创建
motd file = /etc/rsyncd.Motd #rsync启动时欢迎信息页面文件位置（文件内容自定义）
ignore errors --- 忽略传输中的简单错误
read only = false --- 指定备份目录是可读可写
list = false --- 使客户端不可以查看服务端的模块信息
hosts allow = 172.16.1.0/24 --- 允许传输备份数据的主机(白名单)
hosts deny = 0.0.0.0/32 --- 禁止传输备份数据的主机(黑名单)
auth users = rsync_backup --- 指定认证用户 #执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开 //客户端获取文件的身份此用户并不是本机中确实存在的用户
secrets file = /etc/rsync.password --- 指定认证用户密码文件 用户名称:密码信息
#hosts allow = 192.168.21.129 #允许进行数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
#hosts deny = 192.168.21.254 #禁止数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开


[backup] --- 模块信息 这里可以定义多个备份模块目录和每个模块自己局部得参数 
comment = "backup dir by oldboy" 
path = /backup --- 模块中配置参数 指定备份目录
##########配置文件解析#############

[root@nfs01 ~]# vim /etc/rsyncd.conf

uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = yes
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
auth_users = rsync_backup
secrets file = /etc/rsync.password
exclude = lost+found/
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

[backup]
path = /home/backup
comment = backup dir

 

 

第三个历程: 创建rsync服务的虚拟用户
useradd rsync -M -s /sbin/nologin

第四个历程: 创建备份服务认证密码文件
echo "rsync_backup:oldboy123" >/etc/rsync.password
chmod 600 /etc/rsync.password

第五个历程: 创建备份目录并修改属主属组信息
mkdir /home/backup/
chown rsync.rsync /home/backup/

第六个历程: 启动备份服务
systemctl start rsyncd
systemctl enable rsyncd
systemctl status rsyncd

需要熟悉rsync守护进程名称语法:
Access via rsync daemon:
客户端做拉的操作: 恢复数据
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
客户端做退的操作: 备份数据
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
src: 要推送备份数据信息
[USER@]: 指定认证用户信息
HOST: 指定远程主机的IP地址或者主机名称
::DEST: 备份服务器的模块信息

rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

 

rsync守护进程客户端配置

第一个历程: 创建一个秘密文件
echo "oldboy123" >/etc/rsync.password
chmod 600 /etc/rsync.password

第二个历程: 进行免交互传输数据测试
rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

 

4、 rsync命令参数详细说明

-v, --verbose 显示详细的传输信息
-a, --archive 命令的归档参数 包含: rtopgDl
-r, --recursive 递归参数
-t, --times 保持文件属性信息时间信息不变(修改时间)
-o, --owner 保持文件属主信息不变
-g, --group 保持文件属组信息不变
PS: 如何让-o和-g参数生效,需要将配置文件uid和gid改为root,需要将 fake super参数进行注释
-p, --perms 保持文件权限信息不变
-D, 保持设备文件信息不变
-l, --links 保持链接文件属性不变
-L, 保持链接文件数据信息不变
-P, 显示数据传输的进度信息
--exclude=PATTERN 排除指定数据不被传输
--exclude-from=file 排除指定数据不被传输(批量排除)
--bwlimit=RATE 显示传输的速率 100Mb/8=12.5MB
企业案例: 马路(带宽-半) 人人网地方 
--delete 无差异同步参数(慎用) 我有的你也有,我没有的你也不能有

 

5、 守护进程服务企业应用

a. 守护进程多模块功能配置

sa sa_data.txt
dev dev_data.txt
dba dba_data.txt
[backup]
comment = "backup dir by oldboy"
path = /backup
[dba]
comment = "backup dir by oldboy"
path = /dba
[dev]
comment = "backup dir by oldboy"
path = /devdata

 

b. 守护进程的排除功能实践

准备环境:
[root@nfs01 /]# mkdir -p /oldboy
[root@nfs01 /]# mkdir -p /oldboy/{a..c}
[root@nfs01 /]# touch /oldboy/{a..c}/{1..3}.txt
[root@nfs01 /]# tree /oldboy
/oldboy
├── 01.txt
├── 02.txt
├── a
│?? ├── 1.txt
│?? ├── 2.txt
│?? └── 3.txt
├── b
│?? ├── 1.txt
│?? ├── 2.txt
│?? └── 3.txt
└── c
├── 1.txt
├── 2.txt
└── 3.txt

需求01: 将/oldboy目录下面 a目录数据全部备份 b目录不要备份1.txt文件 c整个目录不要做备份
--exclude=PATTERN
绝对路径方式:
[root@nfs01 /]# rsync -avz /oldboy --exclude=/oldboy/b/1.txt --exclude=/oldboy/c/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password 
sending incremental file list
oldboy/
oldboy/01.txt
oldboy/02.txt
oldboy/a/
oldboy/a/1.txt
oldboy/a/2.txt
oldboy/a/3.txt
oldboy/b/
oldboy/b/2.txt
oldboy/b/3.txt

相对路径方式:
[root@nfs01 /]# rsync -avz /oldboy --exclude=b/1.txt --exclude=c/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password 
sending incremental file list
oldboy/
oldboy/01.txt
oldboy/02.txt
oldboy/a/
oldboy/a/1.txt
oldboy/a/2.txt
oldboy/a/3.txt
oldboy/b/
oldboy/b/2.txt
oldboy/b/3.txt

sent 502 bytes received 177 bytes 1,358.00 bytes/sec
total size is 0 speedup is 0.00

需求02: 将/oldboy目录下面 a目录数据全部备份 b目录不要备份1.txt文件 c整个目录1.txt 3.txt文件不要备份
--exclude-from=file --- 批量排除 
第一个历程: 编辑好一个排除文件
[root@nfs01 /]# cat /oldboy/exclude.txt 
b/1.txt
c/1.txt
c/3.txt
exclude.txt

第二个历程: 实现批量排除功能
[root@nfs01 /]# rsync -avz /oldboy --exclude-from=/oldboy/exclude.txt rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password 
sending incremental file list
oldboy/
oldboy/01.txt
oldboy/02.txt
oldboy/a/
oldboy/a/1.txt
oldboy/a/2.txt
oldboy/a/3.txt
oldboy/b/
oldboy/b/2.txt
oldboy/b/3.txt
oldboy/c/
oldboy/c/2.txt

c. 守护进程来创建备份目录
[root@nfs01 /]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup/10.0.0.31/ --password-file=/etc/rsync.password 
sending incremental file list
created directory 10.0.0.31
hosts

sent 226 bytes received 75 bytes 602.00 bytes/sec
total size is 371 speedup is 1.23
PS: 客户端无法在服务端创建多级目录

 

d. 守护进程的访问控制配置
守护进程白名单和黑名单功能
PS: 建议只使用一种名单

e. 守护进程的列表功能配置

[root@nfs01 /]# rsync rsync_backup@172.16.1.41::
backup "backup dir by oldboy"
dba "backup dir by oldboy"
dev "backup dir by oldboy"

 

 

6、全网备份项目

全网备份项目环境准备：三台服务器准备完毕

（1）完成项目需求

1)所有服务器的备份目录必须都为/backup
web01 nfs01 backup

2)要备份的系统配置文件包括但不限于： 
a.定时任务服务的配置文件(/var/spool/cron/root)（适合web和nfs服务器）。
b.开机自启动的配置文件(/etc/rc.local)（适合web和nfs服务器）。
c.日常脚本的目录(/server/scripts)。
d.防火墙iptables的配置文件(/etc/sysconfig/iptables)。
e.自己思考下还有什么需要备份呢？ 
web01 nfs01

3)Web服务器站点目录假定为(/var/html/www)。 
4)Web服务器A访问日志路径假定为（/app/logs） 
web01

5)Web服务器保留打包后的7天的备份数据即可(本地留存不能多于7天，因为太多硬盘会满) 
web01 nfs01

6)备份服务器上,保留每周一的所有数据副本，其它要保留6个月的数据副本。 
部署好rsync守护进程服务 
backup

7)备份服务器上要按照备份数据服务器的内网IP为目录保存备份，备份的文件按照时间名字保存。OK

8)需要确保备份的数据尽量完整正确，在备份服务器上对备份的数据进行检查，把备份的成功及失败结果信息发给系统管理员邮箱中（发邮件技巧见VIP群资料）。
backup

 

 

（2）备份客户端（web01）要完成的工作

mkdir -p /backup/10.0.0.31/
cd /
tar zchf /backup/system_backup_$(date +%F_week%w).tar.gz ./var/spool/cron/root ./etc/rc.local ./server/scripts ./etc/sysconfig/iptables #备份系统文件和脚本
tar zchf /backup/www_backup_$(date +%F_week%w).tar.gz ./var/html/www #备份web数据
tar zchf /backup/www_log_backup_$(date +%F_week%w).tar.gz ./app/logs #备份日志
find /backup -type f -mtime +7|xargs rm #删除7天前得文件

find /backup/ -type f -mtime -1 ! -name "finger*"|xargs md5sum >/backup/10.0.0.31/finger.txt #找到最新一天的文件（排除finger*的文件），并生成md5sum

rsync -avz /backup/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

 

补充:
01. tar命令用法
-h, --dereference follow symlinks; archive and dump the files they point to
将链接文件所指向的原文件进行保存备份

 

（3）备份服务端要完成的工作

find /backup/ -type f -mtime +180 ! -name "*week1.tar.gz"
find /backup/ -type f -name "finger.txt"|xargs md5sum -c >/tmp/check.txt
mail -s "邮件测试" 330882721@qq.com </tmp/check.txt

 

补充说明:
01. 保留周一数据的方法
a 在数据名称信息上加上周的信息
find /backup/ -type f -mtime +180 ! -name "*week1.tar.gz"
b 在服务端进行检查,将每周一传输的数据进行单独保存
02. 如何验证数据完整性
利用md5算法进行验证数据完整性
#md5sum -c 指纹文件命令执行原理
# 第一个历程: 打开一个指纹文件,将信息记录到缓存中
# 第二个历程: 根据指纹文件的路径信息,生成md5数值信息
# 第三个历程: 将新生成md5数值和原有指纹文件中的数值进行比较
# 第四个历程: 如果相同显示结果为ok,如果不同显示failed

 

03. 如何实现发送邮件

a 配置163企业邮箱
b 编写linux服务邮件相关配置文件

vim /etc/mail.rc
set from=17778058507@163.com smtp=smtp.163.com 
set smtp-auth-user=17778058507@163.com smtp-auth-password=oldboy123 smtp-auth=login
systemctl restart postfix.service
c 发送邮件测试
echo "邮件发送测试"|mail -s "邮件测试" 330882721@qq.com
mail -s "邮件测试" 330882721@qq.com </etc/hosts

 

 

（4）编写全网备份脚本

客户端脚本:
nfs01服务器备份脚本:
省略:

web01服务器备份脚本:
省略

服务端脚本:
测试检验脚本方法: sh -x 脚本信息

（5）实现自动完成全网数据备份(定时任务)

客户端定时任务:
crontab -e
# backup data
0 0 * * * /bin/sh /server/scripts/backup.sh &>/dev/null

服务端定时任务
# check backup data
0 5 * * * /bin/sh /server/scripts/backup_server.sh &>/dev/null

还有什么完善余地 ？？？