架构期day2-备份服务实战

Rsync服务

一、备份

1.什么是备份？

备份就是把重要的数据或者文件复制一份保存到另一个地方

2.为什么做备份？

数据在公司中是很重要！！！！
备份就是为了恢复

3.能不能不做备份

对于重要的数据一定要备份
对于不重要的数据可以不备份或者备份一部分

4.备份的工具

本地备份：cp
远程备份：scp   rsync

二、rsync服务介绍

1.简介

rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。

rsync官方地址：https://rsync.samba.org/
rsync监听端口：873
rsync运行模式：C/S   client/server

rsync简称叫做远程同步，可以实现不同主机之间的数据同步，还支持全量和增量

2.rsync特性

支持拷贝特殊文件，如连接文件、设备等。
可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。
可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。

可以通过socket（进程方式）传输文件和数据（服务端和客户端）*****。
支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。

3.生产场景备份方案

1.借助cron+rsync把所有客户服务器数据同步到备份服务器。
2.针对公司重要数据备份混乱状况和领导提出备份全网数据的解决方案。
3.通过本地打包备份，然后rsync结合inotify应用把全网数统一备份到一个固定存储服务器，然后在存储服务器上通过脚本检查并报警管理员备份结果。
4.定期将IDC机房的数据备份公司的内部服务器，防止机房地震及火灾问题导致数据丢失。
5.实时同步，解决存储服务器等的单点问题。

三、Rsync应用场景

1.备份方式

1）全量备份

将数据完整的复制一份保留下了

2）增量备份

概念：备份上一此备份后新增的数据

2.rsync的传输方式

push 推：
从客户端将数据推送至服务端

pull 拉：
客户端将数据拉取到本地

格式区别：
rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup 推
	本地文件路径在前，目标ip在后
rsync -avz rsync_backup@172.16.1.41::backup /tmp/ 拉
	目标ip在前，目标文件路径在后

3.传输存在的问题

1.推的问题：当客户端服务器数量过多，容易造成数据推送缓慢
2.拉的问题：当客户端服务器数量过多，容易造成服务端压力过大

4.大量服务器备份场景

现在有2000台服务器，怎么有效快速的缓解推和拉存在的问题

5.异地备份实现思路

四、Rsync传输模式

1.传输模式

1.本地方式（类似于cp，不支持推送和拉取，只是单纯的复制）
2.远程方式（类似于scp，又不同于scp）
3.守护进程方式（客户端和服务端）

2.本地方式

#语法：
rsync [OPTION]... SRC [SRC]... DEST
命令   选项        源文件       目标地址

#语法实例
[root@web01 ~]# rsync -avz rewriteip.sh /tmp/

#命令拆分
rsync 				#命令
-avz 				#选项
rewriteip.sh 		#源文件
/tmp/				#目标位置

#类似于cp，但是cp是全量复制并且会修改文件属性，rsync是增量复制，会保证文件属性不表

3.远程方式

例1：拉取目标ip的2.txt文件到本机
rsync -avz 10.0.0.7:/tmp/2.txt ./
例2：推送2.txt到目标ip
rsync -avz /root/2.txt 10.0.0.7:/tmp

1）pull 拉取数据的命令

#语法：
rsync [OPTION]... [USER@]HOST:SRC [DEST]

#实例：
[root@web01 ~]# rsync -avz root@172.16.1.41:/tmp/dir1 ./

#语法拆分
rsync 			#命令
-avz 			#选项
root			#远端服务器的系统用户
@				#分隔符
172.16.1.41		#远程主机的地址
:				#分隔符，代表主机下的....
/tmp/dir1 		#远程主机的目录及文件
./				#当前主机的当前目录

2）push 推送数据命令

#语法
rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST

#实例
[root@web01 ~]# rsync -avz ./rewriteip.sh root@172.16.1.41:/tmp

#语法拆分
rsync 				#命令
-avz 				#选项
./rewriteip.sh 		#当前服务器的本地文件
root				#远端服务器的系统用户
@					#分隔符
172.16.1.41			#远端主机的IP地址
:					#分隔符，代表主机下的....
/tmp				#远程主机的目录

4.守护进程传输模式

1）为什么使用守护进程模式

1.rsync传输时，使用的是系统用户和系统用户的密码，非常的不安全
2.使用普通用又会出现权限问题

2）守护进程传输模式语法

1> push 推送语法

#语法：
rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST

#实例：
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup

#语法拆分
rsync 				#命令	
-avz 				#选项
rewriteip.sh 		#当前服务器的文件
rsync_backup		#rsync服务端配置的虚拟用户
@					#分隔符
172.16.1.41			#远程主机IP地址
::backup			#模块名

#推送过程中服务端目录必须是服务端配置的启动用户权限

2> pull 拉取语法

#语法：
rsync [OPTION]... [USER@]HOST::SRC [DEST]

#示例：
[root@web01 ~]# rsync -avz rsync_backup@172.16.1.41::backup /tmp/

#语法拆分：
rsync 				#命令
-avz 				#选项
rsync_backup		#服务端定义的虚拟用户
@					#分隔符
172.16.1.41			#远程主机IP地址
::backup 			#模块名字
/tmp/				#当前主机的目录

#拉取过程中服务端目录不用设置rsync用户权限

5.守护进程模式实践

1）环境准备

主机	IP	主机角色
web01	10.0.0.7	rsync客户端
backup	10.0.0.41	rsync服务端

2）安装rsync

[root@web01 ~]# yum install -y rsync
[root@backup ~]# yum install -y rsync

3）配置rsync

#查找配置文件
[root@backup ~]# rpm -qc rsync
/etc/rsyncd.conf

#编辑配置文件
[root@backup ~]# cat /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup

#配置文件详解
uid = rsync							#启动服务的用户id
gid = rsync							#启动服务用户的组id
port = 873							#服务默认监听端口
fake super = yes					#无须使用root用户启动
use chroot = no						#安全机制
max connections = 200				#最大连接数
timeout = 600						#超时时间
ignore errors						#忽略错误
read only = false					#只读权限
list = false						#查看模块列表
auth users = rsync_backup			 #定义虚拟用户（rsync传输过程使用的用户）
secrets file = /etc/rsync.passwd	 #定义虚拟用户的密码
log file = /var/log/rsyncd.log		 #日志文件
#####################################
[backup]								#模块
comment = welcome to oldboyedu backup!	   #模块的备注
path = /backup							#服务器真实的路径

4）根据配置文件进行操作

1.创建用户
[root@backup ~]# useradd rsync -s /sbin/nologin -M

2.创建密码文件（一定不能有空格）
[root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
[root@backup ~]# chmod 600 /etc/rsync.passwd

3.创建备份目录
[root@backup ~]# mkdir /backup

4.授权备份目录
[root@backup ~]# chown -R rsync.rsync /backup/

5）启动服务

[root@backup ~]# systemctl start rsyncd

#验证启动
[root@backup ~]# netstat -lntp | grep 873
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      26370/rsync         
tcp6       0      0 :::873                  :::*                    LISTEN      26370/rsync         
[root@backup ~]# ps -ef | grep rsync
root      26370      1  0 11:08 ?        00:00:00 /usr/bin/rsync --daemon --no-detach
root      26408  25098  0 11:09 pts/1    00:00:00 grep --color=auto rsync

6.客户端推拉数据方法

1）方法一：

#输入密码的方式
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
Password: 123456
sending incremental file list

sent 55 bytes  received 20 bytes  21.43 bytes/sec
total size is 194  speedup is 2.59
[root@web01 ~]# 

2）方法二：

#指定密码文件的方式
1.创建密码文件
[root@web01 ~]# echo "123456" > /etc/rsync.passwd
[root@web01 ~]# chmod 600 /etc/rsync.passwd 

2.使用参数传输
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.passwd
sending incremental file list
rewriteip.sh

sent 207 bytes  received 43 bytes  166.67 bytes/sec
total size is 194  speedup is 0.78

3）方法三：

[root@web01 ~]# export RSYNC_PASSWORD=123456
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
sending incremental file list

sent 55 bytes  received 20 bytes  50.00 bytes/sec
total size is 194  speedup is 2.59

7.rsync常见报错

1.报错内容：
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backu@172.16.1.41::backup
Password: 
@ERROR: auth failed on module backup
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因：1）虚拟用户的用户名或者密码错误，2）服务端密码文件权限不为600

2.报错内容：
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.passwd
ERROR: password file must not be other-accessible
rsync error: syntax or usage error (code 1) at authenticate.c(196) [sender=3.1.2]
#原因：客户端密码文件权限不是600

3.报错内容：
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backu
@ERROR: Unknown module 'backu'
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因：模块名字错误

4.报错内容：
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::/backup
ERROR: The remote path must start with a module name not a /
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因：双冒号后面跟的是模块名字，而不是目录名字不要加/

5.报错内容：
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41 (172.16.1.41): No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
#原因：防火墙开启，没有配置防火墙规则
[root@backup ~]# firewall-cmd --add-port=873/tcp
success

6.报错内容：
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
Password: 
sending incremental file list
rewriteip.sh
rsync: mkstemp ".rewriteip.sh.vx4Cry" (in backup) failed: Permission denied (13)

sent 207 bytes  received 128 bytes  44.67 bytes/sec
total size is 194  speedup is 0.58
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [sender=3.1.2]
#原因：selinux没有关闭

7.报错内容：
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
sending incremental file list
rsync: delete of stat xattr failed for "rewriteip.sh" (in backup): Permission denied (13)

sent 55 bytes  received 114 bytes  338.00 bytes/sec
total size is 194  speedup is 1.15
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [sender=3.1.2]
#原因：服务端备份目录权限不是rsync

8.报错内容
[root@web01 ~]# rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41 (172.16.1.41): Connection refused (111)
rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
#原因：服务端服务没有启动

9.报错内容
[root@web01 ~]# rsync -avz ip.sh rsync_backup@10.0.0.41::backup 
sending incremental file list
rsync: read error: Connection reset by peer (104)
rsync error: error in socket IO (code 10) at io.c(785) [sender=3.1.2]
#原因：服务端配置错误，导致启动问题

五、备份案例与方法

1、服务端创建一个用来运行rsync服务的用户身份

创建rsync账户，不创建家目录、不允许登录
[root@backup ~] useradd -M -s /sbin/nologin rsync

创建备份目录(尽可能磁盘空间足够大),授权rsync用户为属主
[root@backup ~] mkdir /backup
[root@backup ~] chown -R rsync.rsync /backup/

2、服务端虚拟用户配置

创建虚拟用户密码文件, 授权600安全权限(用于客户端连接时使用的用户)

[root@backup ~] echo "rsync_backup:zls" >/etc/rsync.passwd
[root@backup ~] chmod 600 /etc/rsync.passwd

---

进程管理

启动rsync服务，并将rsync加入开机自启动

[root@backup ~] systemctl start rsyncd
[root@backup ~] systemctl enable rsyncd

---

检查端口

[root@backup ~]netstat -lntup
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      4758/rsync 

---

3、客户端配置

Rsync客户端仅需配置虚拟用户的密码,并授权为600安全权限

方式一：适合终端执行指定用户密码文件
[root@nfs01 ~] yum install rsync -y
[root@nfs01 ~] echo "rsync_backup:123" > /etc/rsync.passwd #根据/etc/rsyncd.conf配置文件内容来决定
[root@nfs01 ~] chmod 600 /etc/rsync.pass

方式二：脚本中使用，强烈推荐方式
[root@nfs01 ~]export RSYNC_PASSWORD=123

开始配置脚本文件： vim bak.sh
#!/bin/bash
HOST=`hostname`
IP=`hostname -I |awk '{print $2}'`
TIME=`date "+%F"`
tar zcf /backup/${HOST}_${IP}_${TIME}.tar.gz /etc/hosts
export RSYNC_PASSWORD="123" #与服务端虚拟用户的密码一致
rsync -avz /backup/ rsync_backup@10.0.0.41::backup
rm -rf `find /backup -mtime +3` #删三天前的备份文件，针对客户端自己
保存退出

chmod u+x bak.sh #增加执行权

若想测试删除三天前效果，可用ntpdate命令更改下系统时间，备份完几个后，把时间改回再次执行一次脚本文件，浏览客户端本机/backup下，查看是否删除成功。

---

实战一

客户端推送backup目录下所有内容至Rsync服务端，尾部指定backup模块

[root@nfs01 ~] export RSYNC_PASSWORD=zls
[root@nfs01 ~] rsync -avz /backup/ rsync_backup@172.16.1.41::backup/ 

---

实战二

客户端拉取Rsync服务端 backup模块数据至本地客户端的 /backup目录

[root@nfs01 ~] export RSYNC_PASSWORD=zls
[root@nfs01 ~] rsync -avz rsync_backup@172.16.1.41::backup /backup/

---

实战三

Rsync实现数据无差异同步

拉取远端数据：远端与本地保持一致,远端没有本地有会被删除, 造成客户端数据丢失
[root@nfs01 ~] export RSYNC_PASSWORD=zls
[root@nfs01 ~] rsync -avz --delete rsync_backup@172.16.1.41::backup/ /data/

推送数据至远端：本地与远端保持一致, 本地没有远端会被删除, 造成服务器端数据丢失
[root@nfs01 ~] export RSYNC_PASSWORD=zls
[root@nfs01 ~] rsync -avz --delete /data/ rsync_backup@172.16.1.41::backup/

---

实战四

Rsync的Limit限速

企业案例: 某DBA使用rsync拉取备份数据时，由于文件过大导致内部交换机带宽被沾满，导致用户的请求无法响应
[root@nfs01 ~] export RSYNC_PASSWORD=zls
[root@nfs01 ~] rsync -avz --bwlimit=1 rsync_backup@172.16.1.41::backup/ /data/

Rsync备份案例

使用3台服务器主机名分别为web01、backup 、nfs主机信息见下表:

角色	外网IP(WAN)	内网IP(LAN)	主机名
WEB	eth0:10.0.0.7	eth1:172.16.1.7	web01
NFS	eth0:10.0.0.31	eth1:172.16.1.31	nfs01
Rsync	eth0:10.0.0.41	eth1:172.16.1.41	backup

---

客户端需求

1.客户端提前准备存放的备份的目录，目录规则如下:/backup/nfs_172.16.1.31_2018-09-02
2.客户端在本地打包备份(系统配置文件、应用配置等)拷贝至/backup/nfs_172.16.1.31_2018-09-02
3.客户端最后将备份的数据进行推送至备份服务器
4.客户端每天凌晨1点定时执行该脚本
5.客户端服务器本地保留最近7天的数据, 避免浪费磁盘空间

---

服务端需求

1.服务端部署rsync，用于接收客户端推送过来的备份数据
2.服务端需要每天校验客户端推送过来的数据是否完整
3.服务端需要每天校验的结果通知给管理员
4.服务端仅保留6个月的备份数据,其余的全部删除

注意：所有服务器的备份目录必须都为/backup

建议备份的数据内容如下：

#1.开机自启动配置文件  设备挂载配置文件  本地内网配置文件    (系统配置文件)
/etc/rc.local       /etc/fstab      /etc/hosts              

#2.cron定时任务        firewalld防火墙       脚本目录      (重要目录)
/var/spool/cron/    /etc/firewalld     /server/scripts

#3.系统日志文件
/var/log/   //系统安全日志、sudo日志、内核日志、rsyslog日志

#4.应用程序服务配置文件 nginx、PHP、mysql、redis.....