模板机创建

综合架构开场

一、中小规模架构的组成

1.顾客--用户

访问网站的用户

2.保安--防火墙（Firewall）

进行访问策略控制

3.迎宾--负载均衡服务器（nginx）

对用户访问的请求进行调整修改

4.服务员--web服务器（nginx）

处理用户的请求

5.厨师--数据库服务器（mysql）

存储字符数据（商品属性等）

6.厨师--存储服务器（nfs）

存储图片、视频、音频、附件等

7.厨师--备份服务器（rsync+crond-定时备份 rsync+sersync--实时备份）

存储网站所有的重要数据

8.厨师--缓存服务器（mencache redias mongodb）

a 将数据信息存储到内存中

b 减缓服务器的压力

9.经理--批量管理服务器（ansible）

批量管理多台服务器主机

部署网站架构

1、解决网站架构单点问题

负载均衡服务器：高可用服务--keepalived

数据库服务器：高可用服务--mha

存储服务器：高可用服务--keepalived实现

高可用服务--分布式存储

备份服务：

面试题：公司的数据是如何备份的

1）利用开源软件实现数据备份--rsync（免费）

2）利用企业网盘进行数据备份--七牛云存储

3）利用自建备份存储架构--两地三中心

缓存服务：高可用服务--缓存服务集群/哨兵模式

2、员工如何远程访问架构

部署搭建vpn服务器 --部署软件：PPTP vpn

3、内部员工操作管理架构服务器需要审计--记录员工的操作

跳板机服务器 --部署软件：jumpsever

4、架构中服务器出现问题需要进行提前报警告知

部署监控服务器--部署软件：zabbix

二、综合架构规划

主机名称和IP地址规划

  1. 防火墙服务器 firewalld 10.0.0.81(外网地址) 172.16.1.81(内外地址) 软件: firewalld

  2. 负载均衡服务器 lb01 10.0.0.5 172.16.1.5 软件: nginx keepalived

  3. 负载均衡服务器 lb02 10.0.0.6 172.16.1.6 软件: nginx keepalived

  4. web服务器 web01 10.0.0.7 172.16.1.7 软件: nginx

  5. web服务器 web02 10.0.0.8 172.16.1.8 软件: nginx

  6. web服务器 web03 10.0.0.9(存储) 172.16.1.9 软件: nginx

  7. 数据库服务器 db01 10.0.0.51 172.16.1.51 软件: mysql(慢) mariaDB

  8. 存储服务器 nfs01 10.0.0.31 172.16.1.31 软件: nfs

  9. 备份服务器 backup 10.0.0.41 172.16.1.41 软件: rsync

  10. 批量管理服务器 m01 10.0.0.61 172.16.1.61 软件: ansible

  11. 跳板机服务器 jumpserver 10.0.0.71(61) 172.16.1.71 软件: jumpserver

  12. 监控服务器 zabbix 10.0.0.72(61) 172.16.1.72 软件: zabbix 先把路走通,再进行变通 *10. 缓存服务器 忽略

三、优化配置模板主机

1) 进行网络配置

a 添加网卡 b 配置网卡

[root@HGG ~]# nmtui

vim /etc/sysconfig/network-scripts/ifcfg-eth1 c 确认网络配置

ip a

2) 系统优化过程

1.模板机优化配置---hosts文件配置

 ​
 cp /etc/hosts{,.bak}  --备份
 ​
 cat >/etc/hosts<<EOF
 127.0.0.1   localhost localhost.localdomain localhost4  localhost4.localdomain4
 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
 172.16.1.5      lb01
 172.16.1.6      lb02
 172.16.1.7      web01
 172.16.1.8      web02
 172.16.1.9      web03
 172.16.1.51     db01 db01.etiantian.org
 172.16.1.31     nfs01
 172.16.1.41     backup
 172.16.1.61     m01
 EOF

 

2.模板机优化配置---更改yum源

#更改yum源 ​ mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup --备份

 

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo --更新

 

yum install -y wget --安装wget软件包

 

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo --下载epel扩展软件包

 

PS：yum repolist 列出yum源信息；讲解什么是epel源

3.模板机优化配置---关闭selinux

 #关闭selinux
 sed -i.bak 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
 ​
 grep SELINUX=disabled /etc/selinux/config 
 ​
 setenforce 0
 ​
 getenforce

4.模板机优化配置---关闭iptables （防火墙）

 #关闭iptables  centos7       
 systemctl stop firewalld
 systemctl disable firewalld
 systemctl status  firewalld

5.模板机优化配置---提权oldboy可以sudo (可选配置)

  #提权oldboy可以sudo(可选配置)
     useradd oldboy
     echo 123456|passwd --stdin oldboy
     cp /etc/sudoers /etc/sudoers.ori
     echo "oldboy  ALL=(ALL) NOPASSWD: ALL " >>/etc/sudoers
     tail -1 /etc/sudoers
     visudo -c

 

6.模板机优化配置---英文字符集

     #英文字符集
 localectl set-locale LANG="en_US.UTF-8" --设置字符集
 ​
 [root@HGG ~]# echo $LANG  --查看当前系统字符集
 ​
 en_US.UTF-8

 

7.模板机优化配置---时间同步

  #时间同步
 yum install -y ntpdate
     echo '#time sync by lidao at 2021-09-01' >>/var/spool/cron/root --定时任务标识
     echo '*/5 * * * * /usr/sbin/ntpdate ntp1.aliyun.com >/dev/null 2>&1' >>/var/spool/cron/root  --配置定时任务
     crontab -l  --检查是否添加

 

8.模板机优化配置---加大文件描述（可以运行更多服务进程）

 yum install -y lsof 
 ​
 lsof -i:22  --查看22端口所能运行的服务进程
     #加大文件描述
     echo '*               -       nofile          65536' >>/etc/security/limits.conf --设置可运行进程为65526个
     
     tail -1 /etc/security/limits.conf -查看倒数第一行信息
     
     source /etc/security/limits.conf --加载生效
     
     说明:
 一个服务程序运行起来,会打开相应的文件
 crond定时任务服务---systemctl start crond --- 打开相应文件
 /var/spool/cron/root  --- 加载打开配置文件
 /var/log/cron         --- 加载打开日志文件

 

9.模板机优化配置---安装其他小软件

		#安装其他小软件
 yum install lrzsz nmap tree dos2unix nc telnet wget lsof ntpdate bash-completion bash-completion-extras -y

 

10.模板机优化配置---ssh连接速度慢优化

      #ssh连接速度慢优化          
​      sed -i.bak 's@#UseDNS yes@UseDNS no@g;s@^GSSAPIAuthentication yes@GSSAPIAuthentication no@g'  /etc/ssh/sshd_config

​      systemctl restart ssh

d

四、进行模板主机克隆操作

1、进行模板机快照拍摄

2、进行虚拟主机克隆

创建链接克隆 (学习环境) ​ 优势: ​ a 节省物理主机资源 ​ b 克隆主机效率快 ​ 劣势: ​ a 模板主机删除,链接主机也会失效

创建完整克隆 (企业应用) ​ 优势: ​ a 模板主机删除,克隆主机依然可以使用 ​ 劣势: ​ a 比较消耗物理主机资源 ​ b 克隆主机效率低

3、克隆后虚拟主机配置

a 修改主机名称 ​ hostnamectl set-hostname backup ​ 修改主机地址

 sed -i 's#200#41#g' /etc/sysconfig/network-scripts/ifcfg-eth[01] ---替换网卡ip信息
 ​
 grep 41 /etc/sysconfig/network-scripts/ifcfg-eth[01]
 sed -i '/UUID/d' /etc/sysconfig/network-scripts/ifcfg-eth[01] --查找ip信息是否成功替换
 ​
 [root@HGG ~]# sed -i  '/UUID/d' /etc/sysconfig/network-scripts/ifcfg-eth[01] --删除UUID
 ​
 ​
 grep UUID /etc/sysconfig/network-scripts/ifcfg-eth[01]
 systemctl restart network  --查看UUID是否成功删除

c 重启网卡服务

d 重新在xshell配置远程ip

e ping一下网络是否能通

PS: 一台一台顺序启动,进行修改,不要同时启动

补充: 克隆好的主机无法远程连接: ​ 解决方式:

1、利用ping方式测试

2、关闭xshell软件重新打开

五、备份服务器说明（rsync）

作用:

1、数据备份的服务器

2、进行日志统一保存

[root@nfs01 backup]# grep -r oldboy /backup/

grep -r ---目录下的所有文件中是否存在目标信息

如何部署搭建备份服务器: rsync服务

3、什么是rsync服务

Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具

全量：同一个数据传输回产生第二个文件

增量：同一个文件传输会直接覆盖

4、rsync软件使用方法:

rsync命令 1v4-- 一命四用

a 本地备份数据 cp

[root@nfs01 backup]# cp /etc/hosts /tmp

[root@nfs01 backup]# ll /tmp/hosts

-rw-r--r-- 1 root root 371 May  6 16:11 /tmp/hosts

[root@nfs01 backup]# rsync /etc/hosts /tmp/host_rsync

[root@nfs01 backup]# ll /tmp/host_rsync-rw-r--r-- 1 root root 371 May  6 16:12 /tmp/host_rsync

b 远程备份数据 scp

scp -rp /etc/hosts root@172.16.1.41:/backup --传输
root@172.16.1.41's password: 
hosts         100%  371    42.8KB/s   00:00
-r    --- 递归复制传输数据
-p    --- 保持文件属性信息不变

[root@nfs01 ~]# rsync -rp /etc/hosts 172.16.1.41:/backup/hosts_rsync  --传输
root@172.16.1.41's password:

 

rsync远程备份目录:

 [root@nfs01 ~]# rsync -rp /oldboy 172.16.1.41:/backup   --- 备份的目录后面没有 /
 root@172.16.1.41's password: 
 [root@backup ~]# ll /backup
 total 0
 drwxr-xr-x 2 root root 48 May  6 16:22 oldboy
 [root@backup ~]# tree /backup/
 /backup/
 └── oldboy
     ├── 01.txt
     ├── 02.txt
     └── 03.txt
 ​
 1 directory, 3 files
 ​
 [root@nfs01 ~]# rsync -rp /oldboy/ 172.16.1.41:/backup  --- 备份的目录后面有 / 
 root@172.16.1.41's password:
 [root@backup ~]# ll /backup
 total 0
 -rw-r--r-- 1 root root 0 May  6 16:24 01.txt
 -rw-r--r-- 1 root root 0 May  6 16:24 02.txt
 -rw-r--r-- 1 root root 0 May  6 16:24 03.txt

总结: 在使用rsync备份目录时: ​ 备份目录后面有 / -- /oldboy/ : 只将目录下面的内容进行备份传输 ​ 备份目录后面没有/ -- /oldboy : 会将目录本身以及下面的内容进行传输备份

c 替代删除命令

rm命令 ​ [root@nfs01 ~]# rsync -rp --delete /null/ 172.16.1.41:/backup ​ root@172.16.1.41's password: ​ --delete 实现无差异同步数据

面试题:

有一个存储数据信息的目录, 目录中数据存储了50G数据, 如何将目录中的数据快速删除

方法一：rm /目录/* -rf --从磁盘读取删除慢

方法二：[root@backup ~]# rsync -rp --delete /null/ /hgg --删除快

d 替代查看文件命令 ls

[root@backup ~]# ls /etc/hosts ​ /etc/hosts

[root@backup ~]# rsync /etc/hosts ​ -rw-r--r-- 371 2019/05/06 11:55:22 hosts

5、rsync命令语法格式

SYNOPSIS Local: rsync [OPTION...] SRC... [DEST] 本地备份数据: src: 要备份的数据信息 dest: 备份到什么路径中

远程备份数据: Access via remote shell: 拉取： Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST] [USER@] --- 以什么用户身份拉取数据(默认以当前用户) hosts --- 指定远程主机IP地址或者主机名称 SRC --- 要拉取的数据信息 dest --- 保存到本地的路径信息

传输： Push: rsync [OPTION...] SRC... [USER@]HOST:DEST SRC --- 本地要进行远程传输备份的数据 [USER@] --- 以什么用户身份推送数据(默认以当前用户) hosts --- 指定远程主机IP地址或者主机名称 dest --- 保存到远程的路径信息

 

6、 守护进程方式备份数据 备份服务

  1. 可以进行一些配置管理

  2. 可以进行安全策略管理

  3. 可以实现自动传输备份数据

   Access via rsync daemon:
   Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
      rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
   Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
      rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

  1. rsync服务部署安装过程 linux系统安装部署服务流程: a 下载安装软件 yum b 编写配置文件 c 搭建服务环境 备份的目录/目录权限 d 启动服务程序 开机自动启动 e 测试服务功能

 

7、rsync守护进程部署方式

1） rsync守护进程服务端配置:

第一个历程: 下载安装软件 ​ rpm -qa|grep rsync --查看软件是否安装

yum install -y rsync --安装软件

第二个历程: 编写配置文件 ​ man rsyncd.conf

vim /etc/rsyncd.conf

 

     ##created by HQ at 2017
 •       ###rsyncd.conf start##
 ​
 uid = rsync       --- 指定管理备份目录的用户  
 gid = rsync       --- 指定管理备份目录的用户组
 port = 873        --- 定义rsync备份服务的网络端口号
 fake super = yes  --- 将rsync虚拟用户伪装成为一个超级管理员用户 
 use chroot = no   --- 和安全相关的配置
 max connections = 200  --- 最大连接数  同时只能有200个客户端连接到备份服务器
 timeout = 300          --- 超时时间(单位秒)
 pid file = /var/run/rsyncd.pid   --- 记录进程号码信息 1.让程序快速停止进程 2. 判断一个服务是否正在运行
 lock file = /var/run/rsync.lock  --- 锁文件
 log file = /var/log/rsyncd.log   --- rsync服务的日志文件 用于排错分析问题
 ignore errors                    --- 忽略传输中的简单错误
 read only = false                --- 指定备份目录是可读可写
 list = false                     --- 使客户端可以查看服务端的模块信息
 hosts allow = 172.16.1.0/24      --- 允许传输备份数据的主机(白名单)
 hosts deny = 0.0.0.0/32          --- 禁止传输备份数据的主机(黑名单)
 auth users = rsync_backup        --- 指定认证用户 
 secrets file = /etc/rsync.password   --- 指定认证用户密码文件 用户名称:密码信息
 [backup]                         --- 模块信息
 comment = "backup dir by oldboy"  
 path = /backup                   --- 模块中配置参数 指定备份目录

 

第三个历程: 创建rsync服务的虚拟用户（管理备份目录） useradd rsync -M -s /sbin/nologin

第四个历程: 创建备份服务认证密码文件 [root@backup ~]# echo rsync_backup:123456 > /etc/rsync.password --创建备份服务密码 [root@backup ~]#chmod 600 /etc/rsync.password --修改密码文件权限

第五个历程: 创建备份目录并修改属主属组信息 mkdir /backup --创建备份目录 chown rsync.rsync /backup/ --修改备份目录属主，属组

第六个历程: 启动备份服务 systemctl start rsyncd systemctl enable rsyncd systemctl status rsyncd

2）需要熟悉rsync守护进程名称语法:

Access via rsync daemon: ​ 客户端做拉的操作: 恢复数据 ​ Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST] ​ rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST] ​ 客户端做推的操作: 备份数据 ​ Push: rsync [OPTION...] SRC... [USER@]HOST::DEST ​ src: 要推送备份的数据信息

[USER@]：指定认证用户信息

HOST: 指定远程主机的IP地址或者主机名称 ​ ::DEST: 备份服务器的模块信息（模块名） ​

3）rsync守护进程客户端远程传输与配置:

需要输入密码传输：

rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup

免密码传输：

第一个历程: 创建一个秘密文件 ​ echo "123456" >/etc/rsyncd.password ​ chmod 600 /etc/rsyncd.password

第二个历程: 进行免交互传输数据测试 ​ rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsyncd.password

4）rsync命令参数详细说明

-v, --verbose 显示详细的传输信息 -a, --archive 命令的归档参数 包含: rtopgDl -r, --recursive 递归参数 -t, --times 保持文件属性信息时间信息不变(修改时间) -o, --owner 保持文件属主信息不变 -g, --group 保持文件属组信息不变 PS: 如何让-o和-g参数生效,需要将配置文件uid和gid改为root,需要将 fake super参数进行注释 -p, --perms 保持文件权限信息不变 -D, 保持设备文件信息不变 -l, --links 保持链接文件属性不变 -L, 保持链接文件数据信息不变 -P, 显示数据传输的进度信息 --exclude=PATTERN 排除指定数据不被传输 --exclude-from=file 排除指定数据不被传输(批量排除) --bwlimit=RATE 显示传输的速率 100Mb/8=12.5MB 企业案例: 马路(带宽-半) 人人网地方 --delete 无差异同步参数(慎用) 我有的你也有,我没有的你也不能有

8、守护进程服务企业应用:

a. 守护进程多模块功能配置

     sa  sa_data.txt
     dev dev_data.txt
     dba dba_data.txt
     [root@backup ~]# vim /etc/rsyncd.con 
     [backup]        --运维模块
     comment = "backup dir by oldboy"
     path = /backup
     [dba]           --数据库模块
     comment = "backup dir by oldboy"
     path = /dba
     [devdata]       --开发人员莫快递
     comment = "backup dir by oldboy"
     path = /devdata
     [root@backup hgg]# systemctl restart rsyncd
 ​

b. 守护进程的排除功能实践

准备环境:（客户端）

 [root@nfs01 ~]# mkdir /hgg
 [root@nfs01 ~]# mkdir -p /hgg/{a..c}
 [root@nfs01 ~]# touch /hgg/{a..c}/{1..3}.txt
 [root@nfs01 ~]# cd /hgg
 ​
 .
 ├── a
 │   ├── 1.txt
 │   ├── 2.txt
 │   └── 3.txt
 ├── b
 │   ├── 1.txt
 │   ├── 2.txt
 │   └── 3.txt
 └── c
     ├── 1.txt
     ├── 2.txt
     └── 3.txt
 ​
 3 directories, 9 files
 ​

需求01: 将/hgg目录下面 a目录数据全部备份 b目录不要备份1.txt文件 c整个目录不要做备份 --exclude=PATTERN(要排除的文件) 绝对路径方式:

 [root@nfs01 hgg]# rsync -avz /hgg --exclude=/hgg/b/1.txt --exclude=/hgg/c rsync_backup@172.16.1.41::devdata --password-file=/etc/rsyncd.password 
 sending incremental file list
 hgg/
 hgg/a/
 hgg/a/1.txt
 hgg/a/2.txt
 hgg/a/3.txt
 hgg/b/
 hgg/b/2.txt
 hgg/b/3.txt
 ​
 sent 383 bytes  received 135 bytes  345.33 bytes/sec
 total size is 0  speedup is 0.00
 ​

相对路径方式:

 [root@nfs01 hgg]# rsync -avz /hgg --exclude=b/1.txt --exclude=c/ rsync_backup@172.16.1.41::devdata --password-file=/etc/rsyncd.password 
 sending incremental file list
 hgg/
 hgg/a/
 hgg/a/1.txt
 hgg/a/2.txt
 hgg/a/3.txt
 hgg/b/
 hgg/b/2.txt
 hgg/b/3.txt
 ​
 sent 383 bytes  received 135 bytes  345.33 bytes/sec
 total size is 0  speedup is 0.00

需求02: 将/oldboy目录下面 a目录数据全部备份 b目录不要备份1.txt文件 c整个目录1.txt 3.txt文件不要备份 --exclude-from=file --- 批量排除 第一个历程: 编辑好一个排除文件

 [root@nfs01 /]# vim /oldboy/exclude.txt 
 b/1.txt
 c/1.txt
 c/3.txt
 exclude.txt

第二个历程: 实现批量排除功能

 [root@nfs01 hgg]# rsync -avz /hgg --exclude-from=/exclude.txt rsync_backup@172.16.1.41::devdata --password-file=/etc/rsyncd.password 
 sending incremental file list
 hgg/
 hgg/a/
 hgg/a/1.txt
 hgg/a/2.txt
 hgg/a/3.txt
 hgg/b/
 hgg/b/2.txt
 hgg/b/3.txt
 hgg/c/
 hgg/c/2.txt
 ​
 sent 458 bytes  received 158 bytes  410.67 bytes/sec
 total size is 0  speedup is 0.00

c. 守护进程来备份并且创建备份目录（当出现服务器多的情况）

   [root@web01 ~]# rsync -avz /hgg rsync_backup@172.16.1.41::backup/10.0.0.7/ --password-file=/etc/rsyncd.password 
 sending incremental file list
 created directory 10.0.0.7
 hgg/
 hgg/hgg.txt
 hgg/hgg.txt.bak
 hgg/hgg/
 ​
 sent 208 bytes  received 105 bytes  626.00 bytes/sec
 total size is 0  speedup is 0.00

PS: 客户端无法在服务端创建多级目录

d. 守护进程的访问控制配置

守护进程白名单和黑名单功能 PS: 建议只使用一种名单

posted @ 2022-01-08 16:48  Yusir-SRE  阅读(106)  评论(0)  编辑  收藏  举报