linux集群架构-rsync备份服务
1.什么是备份,为什么要备份?
就是给源文件增加一个副本
数据重要,防止误操作,能够快速恢复
2.备份使用的方式
全量备份:每次都是完全拷贝,效率低下
增量备份:仅拷贝发生变化的,效率高
3.备份使用的工具
本地备份:cp
远程备份:scp
rsync
sz
rz
4.rsync 远程同步工具
实现主机与主机之间的同步,实现增量同步。例:Linux\windows\mac
如果将rsync当一个服务来使用,则需要知道rsync是个c/s架构
5.rsync传输模式
(1)本地传输
Local: rsync [OPTION...] SRC... [ DEST]
命令 选项 源 目标
rsync -avz anaconda-ks.cfg /tmp/
(2)远程传输
上传ush: rsync [OPTION...] SRC... [USER@]HOST:DEST
命令 选项 源 系统用户 主机IP 目标位置
例:1.我要将我本地的那个文件,推送至那台服务器的那个目录,使用的是什么用户
[root@backup ~]# rsync -avz ./backup_file root@172.16.1.31:/opt/
root@172.16.1.31's password:
下载Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
命令 选项 系统用户 主机IP
命令 选项 系统用户 主机IP
2.我要下载那个主机的那个目录下的文件,使用的是什么系统用户. 然后下载到我本地的那个位置
[root@backup ~]# rsync -avz root@172.16.1.31:/opt/backup_file ./file.txt
root@172.16.1.31's password: #输入31的root密码
注:/etc和/etc/的区别
#推送/etc/目录下的所有文件
#推送/etc目录以及目录下的所有文件
Rsync借助SSH协议同步数据存在的缺陷
1.使用系统用户(不安全)
2.使用普通用户权限不足
(3)守护进程:一直在后台持续运行
Access via rsync daemon:
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
1.安装
yum install rsync -y
2.配置
[root@backup ~]# vi /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup
3.据配置创建一些初识环境:
3.1创建rsync用户,rsync程序需要rsync这个用户来运行
groupadd rsync
[root@backup ~]# useradd -M -s /sbin/nologin rsync -g rsync
[root@backup ~]# id rsync
uid=1000(rsync) gid=1000(rsync) groups=1000(rsync)
3.2虚拟用户
[root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
[root@backup ~]# chmod 600 /etc/rsync.passwd
3.3创建一个/backup目录
[root@backup ~]# mkdir /backup
[root@backup ~]# chown -R rsync.rsync /backup/
4.启动
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd
5.检测
[root@backup ~]# netstat -lntp | grep 873
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 8616/rsync
6.使用
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
[root@nfs ~]# rsync -avz ./anaconda-ks.cfg rsync_backup@172.16.1.41::backup
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
[root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup /opt
7.解决客户端每次都需要使用密码
1.设定变量RSYNC_PASSWORD
[root@nfs ~]# export RSYNC_PASSWORD=123456
[root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup /opt
2.提前准备一个文件 (只有密码的文件), 然后使用 --password-file 指定位置
[root@nfs ~]# echo "123456" > /etc/rsync.pass
[root@nfs ~]# chmod 600 /etc/rsync.pass
[root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup /opt --password-file=/etc/rsync.pass
8.-avz 这些选项 怎么理解?
-a #归档模式传输, 等于-tropgDl
-v #详细模式输出, 打印速率, 文件数量等
-z #传输时进行压缩以提高效率
-r #递归传输目录及子目录,即目录下得所有目录都同样传输。
-t #保持文件时间信息
-o #保持文件属主信息
-p #保持文件权限
-g #保持文件属组信息
-l #保留软连接
-D #保持设备文件信息
-P #显示同步的过程及传输时的进度等信息
-L #保留软连接指向的目标文件
-e #使用的信道协议,指定替代rsh的shell程序
--exclude=PATTERN #指定排除不需要传输的文件模式
--exclude-from=file #文件名所在的目录文件
--bwlimit=100 #限速传输
--delete #让目标目录和源目录数据保持一致
9. --delete 这个参数 (让目标目录和源目录数据保持一致) 危险?
#推: 源有什么,目标就有什么
[root@nfs ~]# rsync -avz /root/ rsync_backup@172.16.1.41::backup --delete
#拉: 目标主机有什么, 本地就有什么
[root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup ./ --delete
10.--bwlimit 限速, 这个参数? 1000兆 125MB/s
虚拟机最高的峰值 25MB/s 5MB/s ---> 取决于实际的情况
单位=KB
[root@nfs ~]# rsync -avzP --bwlimit=5120 ubuntu-18.04.1-desktop-amd64.iso rsync_backup@172.16.1.41::backup
sending incremental file list
ubuntu-18.04.1-desktop-amd64.iso 159,186,944 8% 5.12MB/s 0:05:41
11.--exclude 这个参数 --exclude-from ?
[root@nfs ~]# rsync -avzP --exclude-from=pc.txt rsync://192.168.0.128/yum ./
[root@nfs ~]# cat pc.txt