@linux--Rsync服务的使用及命令详解

1|0Rsync服务

2|0文章目录

• • • Rsync服务
    • 一.备份
    • • • • 1.什么是备份？
          • 2.为什么做备份？
          • 3.能不能不做备份
          • 4备份的工具
      • 二. rsync服务介绍
      • • • 1.简介
          • 2.rsym特性
          • 3.生产场景备份方案
      • 三.rsym应用场景
      • • • 1.备份方式
          • 2.rsync的传输方式
          • 3.传输存在的问题
          • 4.大量服务器备份场景
          • 5.异地实现备份的思路
    • 四. Rsync传输方式
    • • • 1.传输模式
        • 2.本地方式
        • 3.远程方式
        • • 1）pull拉取数据的命令
          • 2)push推送数据命令
      • 4.守护进程传输模式
      • • 1)为什么需要使用守护进程模式
        • 2）守护进程传输模式的语法
        • • 1>push推送语法
          • 2>pull拉取语法
      • 5.守护进程模 式的实践
      • • • 1）环境状态的准备
          • 2)安装rsync
          • 3)配置rsync
          • 4）根据配置文件进行操作
          • 5)启动服务
      • 6.客户端推拉数据的方法
      • • • 1)方法一
          • 2)方法二
          • 3)方法三
      • 7.rsync常见报错
      • 五.Rsync常用的参数
      • • • 1. 常用的参数
          • 1) --exclude-from=file 排除参数
          • 2）--bwlimit=100 限速传输
          • 3) --delete 数据一致（无差异步同步）
      • 六.Rsync备份案列
      • • 1.准备服务器
        • 2.了解需求
        • 3.客户端
        • • 1)创建备份目录

3|0一.备份

1.什么是备份？

备份就是把重要的数据或者文件复制一份保存到另一个地方

2.为什么做备份？

数据在公司中是很重要！！！
备份就是为了恢复

3.能不能不做备份

对于面要的数据一定要备份
对于不重要的数据可以不备份或者备份一部分

4备份的工具

本地备份:cp
远程备份:scp

3|1二. rsync服务介绍

1.简介

   rsync英文称为 remote synchronizetion，从软件的名称就可以看出来， rsync具有可使本地和远程两台主机之间的数据
快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷
贝，而 rsync可以增量拷贝，当然， rsync还可以在本地主机的不同分区或目录之间全量及曾量的制数据，这又类似cp命
令。但是同样也优于cp令，cp每次都是全量贝，而rsyn可以增量拷贝。
    在同步数据的时候，默认情况下， rsync通过其独特的“ quick check“法去，它仅同步大小或者最后修改时间发生变化的文
件或目录，当然也可根据权限、属主等属性的变化同步，但是需要制定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以，可是实现快速的同步备份数据

rsync官方地址:https://rsync.sambaorg
rsync监听端口:873
rsyc运行模式:C/ s client/ server
rsync简称叫做远程同步，可以实现不同主机之间的数据同步，还支持全量和增量

2.rsym特性

  支持拷贝特殊文件，如连接文件、设备等。
可以有排指定文件或目录同步的功能，相当于打包命令tar的排除功能
  可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变
  可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）,可以使用rcp、rsh、sh等方式来配合传输文件（ rsync本身不对数据加密）
   可以通过 socket（进程方式）传输文件和数据（服务端和客户端）,支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方使安全的进行数据备份和像
   

3.生产场景备份方案

  1.借助cron+ rsync把所有客户服务器数据同步到备份服务器
  2.针对公司面要数据备份泥乱状况和领导提出备份全网数据的解决方案
  3.通过本地打包备份，然后 rsync结合 inotify应用把全网数统一备份到一个固定存储服务器，然后在存储服务器上通过脚
本检查并报警管理员备份结果
  4.定期将IDC机房的数据备份公司的内部服务器，防止机房地震及火灾问题导致数据丢失
  5.实时同步，解决存储服务器等的单点可题
  

3|2三.rsym应用场景

1.备份方式

  1）全量备份
将数据完整的短制一份保留下了
  2）增量备份
备份上一次备份后新增的数据   

2.rsync的传输方式

   push推
从客户端将数据推送至服务端
   pu11拉
客户端将数据拉取到本地

3.传输存在的问题

  1.推的问题:当客户端服务器数量过多，容易造成数据推送缓慢
  2.拉的问题:当客户端服务器数量过多，容易造成胺务端压力过大
  
  

4.大量服务器备份场景

   现在有200台服务器，怎么有效快速的缓解推和拉存在的问题

5.异地实现备份的思路

4|0四. Rsync传输方式

1|01.传输模式

1.本地方式（类似于cp，不支持推送和拉取，只是单纯的复制）
2.远程方式（类似于scp，又不同于scp）
3守护进程方式（客户端和服务端）

1|02.本地方式

#语法：
rsync    【OPTION】.. SRC 【SRC】..DEST
命令         选项        源文件    目标地址   

#语法实例
【rootewebe1 ~】#  rsync  -avz  rewriteip.sh  /tmp/

#命令折分
rsync           # 命令
av2             # 排选项
rewriteipl sh   # 源文件
/tmp/           # 目标位置


#类似于cp，但是cp是全量复制并目会修改文件属性， rsync是增量复制，会保证文件属性不表

1|03.远程方式

1）pull拉取数据的命令

#语法
rsync 【OPTION】.. 【USER＠】HOST: SRC 【DEST】
 
#实例
【rootewebe1 ~ 】#  rsync -avz root@172.16.1.41: /tmp/dirl

#语法折分
rsync          #命令
av2            #选项
root           #系统用户
 @             # 分隔符
172.16.1.41    #远程主机的地址
：             #分隔符，代表主机下的.....
/tmp/dir1      # 远程主机的目录及文件
./             #当前主机的当前目录

#注意:
拉取过程中，如果拉取的内容加/则拉取的是目录下的文件
拉取过程中，如果拉取的内容不加/则拉取的是目录本身以及目录下的文件

2)push推送数据命令

#语法
rsync 【OPTION】....SRC 【SRC】.... 【USER@】HOST: DEST

#实例
【rootewebe1 ~】#rsync -avz.rewriteip.sh root@172.16.1.41:/tmp

#语法拆分
rsync            #命令
-avz             #说项
./rewriteip.sh   # 当前服务器的本地文件
root             #远端服务器的系统用户
@                #分隔符
172.16.1.41      #远端主机的P地址
:                #分隔符，代表主机下的。。。。。
/tmp             #远程主机的目录

#注意:
推送过程中，如果推送的内容加/则推送的是目录下的文件
推送过程中，如果推送的内容不加/则推送的是目录本身以及目录下的文件

4|14.守护进程传输模式

1|01)为什么需要使用守护进程模式

1.rsync在传输的时候，使用的是系统用户和系统用户的密码，是非常不安全的
2.在使用普通用户，会出现权限问题

1|02）守护进程传输模式的语法

1>push推送语法

#语法
rsync 【OPTION】.. SRC  【SRC】...  【USER@】HOST:: DEST

#实列

【rootewebel 】#  rsync -avz rewriteip.sh rsync_backup@172.16.1.41::backup


#语法折分
rsync         #命令
-avz          #选项
rewriteip.sh  #当前服务器的文件
rsync backup  #rsync服务端配置的虚拟用户
@             #分隔符
172.16.1.41   #远程主机iP地址
: ：backu     #模块名 
 
#推送过程中服务端目录必须是服务端配国的启动用户权限

2>pull拉取语法

#语法：
rsync 【OPTION】...  【USER@】HOST:: SRC 【DEST】
#示例
【rootewebel ~】#  rsync -avz rsync_backup@172.16.1.41:: backup  /tmp/

#语法拆分:
rsync             #命令
-av2              #选项
rsync-backup      #服务端定义的虚拟用户
@                 #分隔符
172.16.1.41       #远程主机IP地址
::backup          #模块名字
/tmp/             #当前主机的目录

#拉取过程中服务端目录不用设置 rsync用户权限

4|25.守护进程模 式的实践

1）环境状态的准备

主机           iP              主机角色
webb        10.0.0.7         rsync客户端
backup      10.0.0.41        rsync服务端

2)安装rsync

【rootewebe1 ~】#  yum  install  -y  rsync
【rootebackup ~】# yum  install  -y  rsync

3)配置rsync

#根据命令进行查找配置文件
【rootebackup ~】# rpm -qc rsync
  /etc/rsync. conf
  
#进入配置文件，编辑配置文件
【root@backup ~】#  cat  /etc/rsync. conf
uid= rsync
gid= rsync
port =873
fake super = yes
use chroot = ne
max connections =20
timeout =600
ignore errors
read only =false
list =false
auth users =rsync backup  
secrets file = /etc/rsync passwd
log file =/var/log/rsync. log


-----------------------------------------------------
【backup】
 comment s welcome to oldboyedu backup
 path =/backup
 vim 
 
#配记置文件详解
uid= rsync                      #启动服务用户的id
gid = rsync                     #启动服务用户的组id        
port =873                        #服务默认的监听端口号
fake super = yes                 #无需使用root用户进行启动
use chroot =no                   #安全机制
max connections =200              #最大连接数量
timeout =600                      #超时时间
ignore errors                     # 忽略错误
read only= false                   #只读权限
list =false                        #查看模块列表
auth users= rsync_backup           #定义虚拟用户（rsync传输过程使用的用户）
secrets file=/etc/rsync.passwd        #定义虚拟用户密码
log file =/var/log/rsync. log          #日志文件
-------------------------------------------
【backup】                              #模块
comment welcome to oldboyedu backup！   #模块的备注
path =/backup                           #服务器真实的路径

4）根据配置文件进行操作

1.创建用户
【root@backup ~】#  useradd rsync  -s /sbin/nologin  -M

2.创建密码文件（一定不能有空格）
【root@backup ~】# echo "rsync_ backup: 123456"  > /etc/rsync.passwdcd \\\
【root@backup ~】# chmod 600 /etc/rsync.passwd

3.创建备份目录
【root@backup ~】mkdir  /backup

4，按权备份目录
【root＠backup~】chown -R rsync.rsync /backup/

5)启动服务

【root@backup~】# systemctl start rsyncd


#验证启动
【rootabackup ~】 netstat -lntp | grep 873

tcp    0        0.0.0.0.0.0:873     0.0.0.0:*   LISETEN    26370/rsync

tcp6   0         0  :::873          :::*        LISETEN    26370/rsync

【root@backup ~】# ps -ef  |   grep  rsync

root    26370    1    0     11:08   ?         00: 00: 00 /usr/bin/rsync --daemon --no-detach

root    26408  25098  0     11:09  pts/1      00: 00: e0 grep --color=auto rsync

4|36.客户端推拉数据的方法

1)方法一

#输入密码的方式
【rootewebe1 ~】# rsync -avz rewriteip.sh rsync_backup＠172.16.1.41::backup
 Password: 123456
 sending incremental file list
 
 sent 55 bytes received 20 bytes  21. 43  bytes/sec
total size is 194 speedup is 2.59
【rootawebe1 ~】#

2)方法二

#指定密码文件的方式
1.创建密码文件
【rootawebel ~】# echo “123456“ > /etc/rsync.passwd
【rootewebe1 ~】# chmod  600  /etc/rsync.passwd
2，使用参数传输
【rootewebe1 ~】#  rsync -avz rewriteip.sh  rsync_backup＠172.16.1.41:: backup--password-file=/etc/rsync.passwd

sending incremental file list
rewriteip.sh

sent 207 bytes received 43 bytes 166.67 bytes/sec
total size is 194 speedup is 0.78

3)方法三

【rootewebe1~ 】#   export RSYNC_PASSWORD=123456
【rootewebe1 ~】#   rsync -avz rewriteip.sh rsync_ backup@172.16.1.41::backup
sending incremental file list

sent 55 bytes received 20 bytes 50.00 bytes/sec
total size is 194 speedup is 2.59

4|47.rsync常见报错

1.报错内容
【rootewebe1 ~】#  rsync -avz rewriteip.sh rsync_backu＠172.16.1.41:: backup
Password:
@ERROR: auth failed on module backup
rsync error: error starting client-server protocol（code 5） at main.c（1649） 【sendera3 1.2】
#原因:1)虚拟用户的用户名或者密码错. 2)服务端密码文件权限不为600


2.报错内容
【rootewebe1 ~】#   rsync -avz rewriteip.sh rsync_backup＠172.16.1.41:: backup--password-file/etc/rsync.passwd
ERROR: password file must not be other-accessible
rsync error: syntax or usage error （code 1） at authenticate.c（196）【sender=3.1.2】
#原因:客户端密码文件权限不是600

3.报错内容
【rootewebe1 ~】# rsync -avz rewriteip.sh rsync_backup＠172.16.1.41:: backu
@ERROR: Unknown module 'backu'
rsync error: error starting client-server protocol （code 5） at main.c（1649）【sender=3.1.2】


4.报错内容
【rootewebe1 ~】# rsync -avz rewriteip.sh  rsync_ backup＠172.16.1. 41::/backup
ERROR: The remote path must start with a module name not a/
rsync error: error starting client-server protocol （code 5）at main.c（1649）【sender=3.1.2】
#原因:双冒号后面跟的是模块名字，而不是目录名字不要加/


5.振错内容:
【rootawebe1 ~】#  rsync -avz rewriteip.sh rsync backup＠172.16.1.41:: backup
rsync: failed to connect to 172.. 41（172.16. 1.41）: No route to host（113）
rsync error: error in socket Io （code 10） at clientserver. c（125） 【sender=3.1.2】
#原因:防火墙开启，没有配置防火墙规则
【rootabackup ~】#  firewall-cmd--add-porta873/tcp
success



6.报错内容
【rootewebe1 ~】# rsync -avz rewriteip.sh rsync_backup＠172.16.1.41:: backup
passwd:
sending incremental file list
rewriteip.sh
ync: mkstemp".rewriteip sh vxaCry" （in backup） failed: Permission denied （13）


sent 207 bytes received 128 bytes 44.67 bytes/sec
total size is 194 speedup is 0.58
rsync error: some files/attrs were not transferred（see previous errors ）（code 23） at main.c（1179）
【sender=3. 1.2】
#原因:se1inux没有关闭


7.报错内容
【rootewebe1 ~】#  rsync -avz rewriteip.sh rsync_backup＠172.16.1.41::backup
sending incremental file list
rsync: delete of stat xattr failed for "rewriteip.sh"（in backup）: Permission denied（13）

sent 55 bytes received 114 bytes 338.ee bytes/sec
total size is 194 speedup is 1.15
rsync error: some files/attrs were not transferred （see previous errors）（code 23） at main.c（1179）
【senders.1.2】
#原因:服务端备份目录权限不是rsync


8.报错内容
【rootewebe1~】#  rsync -avz rewriteip.sh rsync_ backup＠172.16.1.41:: backup

rsync: failed to connect to 172.16.1.41（172.16.1.41）: Connection refused（111）

rsync error: error in socket Io （code 10） at clientserver.c（125）【sender=3.1.2】
#原因:服务端服务没有启动


9.报错内容
【rootewebe1 ~】#   rsync -avz ip.sh rsync_ backup＠10.0.0.41: backup
sending incremental file list
rsync: read error: Connection reset by peer （104）
rsync error: error in socket Io（code 10） at io.c（785）【sender=3. 1.2】
#原因:服务站配置错误，导致启动问题

4|5五.Rsync常用的参数

1. 常用的参数

-a      #归档模式传输，等于-tropgDl      -t   -r  -o   -p   -g   -D  -l
-v      #详细模式输出，打印速率，文件数量等
-z      #传输时进行压缩以提高效率
-r      #递归传输目录及子目录，即目录下得所有目录都同样传输
-t      #保持文件时间信息
-o      #保持文件属主信息
-p      #保持文件权限
-g      #保持文件属组信息
-l      #保留软连接
-P      #显示同步的过程及传输时的进度等信息
-D      #保持设备文件信息
-L      #保留软连接指向的目标文件
-e      #使用的信道协议，指定替代rsh的she11程序
--exc1ude=PATTERN     #指定排除不需要传输的文件模式
--exc1ude-from=fi1e   #文件名所在的目录文
--bwlimit=100         #限速传输
--partial             #断点续传
--delete              #让上目标目录和源目录数据保持一致
--password-fi1e=xxx   #使用密码文件

1) --exclude-from=file 排除参数

#创建多个文件

【rootewebe1 ~】# touch txt（1.10）
【rootewebe1 ~】# ll
total 0
drwxr-xr-x. 2 root root 6 Nov 19 08: 44 dir
-rw-r--r--. 1 root root 0 Nov 19 08: 44 file
-rw-r--r--. 1 root root 0 Nov 19 88: 59 txt1
---w-r--r-. 1 root root 0 Nov 19 08: 59 txt10
-rw-r--r--. 1 root root 0 Nov 19 08: 59 txt2
-rw-r--f--. 1 root root 0 Nov 19 08: 59 txt3
-rw-r--r--. 1 root root 0 Nov 19 08: 59 txt4
-rw-r-----. 1 root root 0 Nov 19 08: 59 txt5
-rw-r--r--. 1 root root 0 Nov 19 88: 59 txt6
-rw-r--r--. 1 root root 0 Nov 19 88: 59 txt7
-rw-r--r--. 1 root root 0 Nov 19 08: 59 txt8
-rw-r--r--. 1 root root 0 Nov 19 08: 59 txt9

#编辑文件写入要排除的文件名字
【rootewebe1 ~】#  vim 1.txt
txt1
txt2
txt3
txt4



#指定排除文件推送内容
【rootawebe1 ~】#  rsync -avz ./  rsync_ backup@172.16.1.41:: backup --exclude-from=1.txt
sending incremental file list
1. txt
txtl0
txt5
txt6
txt7
txt8
txt9
dir/

sent 468 bytes received 165 bytes 422.00 bytes/sec
total size is 20 speedup is 0.03
#发现没有传输1.txt中写入名字的文件

2）–bwlimit=100 限速传输

#创建一个1G的文件
【root＠web0l ~】#  dd  if=/dev/zero of=./1.txt bs=1M count=1000

#限速1M秒推送
【rootewebe1 ~】#  rsync -avzP 1 txt rsync backup@172.16.1.41: backup--bwlimit=l
sending incremental file list
 1. txt
 114,139,944        10％        1.01MB/s    0:15:06


#限速10M每秒推送
【rootawebe1 ~】#  rsync -avzP 1 txt rsync_ backupa172161. 41: backup.-bwlimitl0
sending incremental file list
1. txt
262,078,464         24％         9.89MB/s

3) --delete 数据一致（无差异步同步）

#查看客户端数据
【rootewebe1 ~】#   11
total 0
-rw-r--r--. 1 roo troot 0 Nov 19 09: 17 txt2
-rw-r--r--. 1 root root 0 Nov 19 89: 17 txt3
-rw-r--r--. 1 root root 0 Nov 19 89: 17 txt4
-rw-r--r--. 1 root root 0 Nov 19 09: 17 txt5
-rw-r--r--. 1 root root 0 Nov 19 09: 17 txt6
-rw-r--r--. 1 root root 0 Nov 19 09: 17 txt7
-rw-r--r--. 1 root root 0 Nov 19 09: 17 txt8
-rw-r--r--. 1 root root 0 Nov 19 09: 17 txt9

#数据删除
【rootewebe1 ~】# rm -rf txt2
【rootewebe1 ~】# rm -rf txt3
【rootewebe1 ~】# rm -rf txt4


#执行数据一致同步
【rootewebe1 ~】# rsync -avz ./ rsync backup＠172.16.1.41: :backup  --delete
sending incremental file list
deleting txt4
deleting txt3
deleting txt2
./


sent 332 bytes received 52 bytes 768.00 bytes/sec
total size is 7,746 speedup is 20.17


#查看服务端
【rootebackup backup~ 】#  11
total 0
-rw-r--r--. 1 rsync rsync 0 Nov 19 09: 17 txt5
-rw-r--r--. 1 rsync rsync 0 Nov 19 09: 17 txt6
-rw-r--r--. 1 rsync rsync 0 Nov 19 09: 17 txt7
-rw-r--r--. 1 rsync rsync 0 Nov 19 09: 17 txt8
-rw-r--r--. 1 rsync rsync 0 Nov 19 09: 17 txt9


#注意：
拉取时:客户端数据与服务端数据一致，以服务端数据为准
推送时:服务端数据与客户端数据一致，以客户诺数据为准

4|6六.Rsync备份案列

1|01.准备服务器

主机                  IP                      身份

webb                10.0.0.7                 客户端

backup              10.0.0.41                服务端

1|02.了解需求

#客户端需求:

1.客户端提前准备存放的备份的目录，目录规则如下:/ backup/nfs172.16.1.31.2018-09-02
2.客户端在本地打包备份（系统配置文件、应用配置等）拷贝至/ backup/nfs172.16.1.312018-09-02
3.客户端最后将备份的数据进行推送至备份服务器
4.客户端句天凌晨1点定时执行该脚本
5.客户端服务器本地保图最近7天的数据，避免浪费磁盘空间

#服务端需求:

1.服务端部害 rsync，用于接收客户端推送过来的备份数据
2.服务端需要每天校验客户端推送过来的数据是否完整
3.服务端需要每天校验的结果通知给管理员
4.服务端仅保留6个月的备份数据，其余的全部册除

1|03.客户端

1)创建备份目录

#尝试获取信息

【rootewebe1 ~】# mkdir   /backup
【rootewebe1 ~】# hostname
  webe01
【root＠weber ~】# hostname -I
18.8.8.7172.16.1.7
【rootewebe1 ~】# hostname -I | awk '{print $2}'
172.16.1.7
【rootewebe1 ~】# date +％F    
2828-11-19

#结合信息创建目录
【rootawebe1 ~】#  mkdir /backup/$（hostname）_$（hostname -I |awk'（print $2）'）_$（date +%F）
【rootewebe1 ~】# mkdir /backup/'hostname' hostname -I | awk '（print $2)' _'date +x'
【rootewebe1 ~】# 11 /backup/
drwxr-xr-x. 2 root root 6 Nov 19 10:00 webe01_172.16.1.7 2028-11-19

__EOF__

本文作者：ଲ小何才露煎煎饺
本文链接：https://www.cnblogs.com/zeny/p/15121616.html
关于博主：评论和私信会在第一时间回复。或者直接私信我。
版权声明：本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！