麒麟V10 SP2安装GuassDB(DWS)-ESL（线下纯软版）
1. 文档说明
1.1 编写目的
- 概述
本文档介绍GaussDB(DWS)的部署方案及软件安装的具体操作过程。
- 读者对象
本文档适用于安装工程师。
1.2 引用文档
- 官方文档
《GaussDB(DWS) 8.2.1-ESL 产品文档 10》
《GaussDB(DWS) 8.2.1-ESL 配置规划工具》，该文件是一个excel工具
- 参考资料:
GaussDB（DWS）线下纯软/ESL集群安装问题案例集-云社区-华为云 (huaweicloud.com)
1.3 术语表
- ESL：这里的ESL是指GaussDB(DWS)的线下版的意思。还有一种是云上的DWS，包括公有云和私有云
- MPPDB：本文特指GaussDB(DWS)分布式数据库
- Coordinator（CN）：指GaussDB(DWS)的
协调节点 - Control Node（CN），是指FusionIngint Manager的
控制节点，控制监控数据节点，并执行对集群接入用户的认证鉴权，存放认证鉴权数据。请勿与DWS中的CN实例混淆
2.产品描述
2.1 产品简介
安装GaussDB(DWS)-ESL，涉及到两个产品：FusionInsight Manager和GaussDB(DWS)
- FusionInsight Manager
FusionInsight Manager是一个大数据集群的管控工具，其实就是一个web界面，在整个系统中称为管控面
- GaussDB(DWS)
基于GaussDB内核的分布式数据库，提供MPPDB服务
2.2 产品版本
本文档包对应的产品及版本信息：
| 产品 | 版本 |
|---|---|
| GaussDB(DWS) | 8.2.1 |
3.项目方案设计
3.1 系统设计总图
GaussDB(DWS)系统由GaussDB(DWS)和Manager构成
各组件提供功能如下：
- Manager：作为运维系统，负责GaussDB(DWS)的集群管理
- GaussDB(DWS)：基于MPP架构的新型数据库
3.2 系统设计说明
在管控系统的集群中主要包括三种节点：
- 管理节点(MN)：即整个DWS集群的管控系统，提供统一的访问入口。主要部署
OMSServer - 控制节点(CN)：控制节点控制和监控数据节点。主要部署
KrbServer、LdapServer等 - 数据节点(DN)：执行数据操作的节点。数据节点主要部署
MPPDBServer（也就是数据库内核）
这里节点概念指的就是一个服务器，一个节点就是一个服务器。
GaussDB(DWS)的组网方式：
第一种方案至少需要5个节点，也就是至少需要5台服务器
第二种方式只需要3台服务器，我们这次将采用此种方案
也就是LLD文档中MN&CN&DN的这个方案
3.3 软硬件配置清单
硬件配置要求
华为GaussDB(DWS)支持x86架构服务器或ARM架构服务器
硬盘要求
各服务的内存要求
操作系统要求
支持SUSE、RedHat、中标麒麟、银河麒麟、统信等x86于ARM架构的操作系统
本次实验使用的操作系统为银河麒麟V10SP2（基于OpenEuler开发的银河麒麟V10SP2，目前支持20210524版本）
镜像名称：Kylin-Server-10-SP2-x86-Release-Build09-20210524.iso
使用该操作系统需要进行一定的补包：sdparm.x86_64.rpm,haveged.x86_64.rpm
软件安装包
虚拟机是x86架构，UnionTech/KylinSec/银河麒麟V10/OpenEuler/超聚变操作系统需要准备的安装包如下：
获取GaussDB_MPPDB_8.2.1.3_EULER.zip总包后解压得到如下软件包：
FusionInsight_Manager_8.2.0.2_Euler.tar.gz
FusionInsight_Manager_8.2.0.2_Euler.tar.gz.cms
FusionInsight_Manager_8.2.0.2_Euler.tar.gz.crl
FusionInsight_BASE_8.2.0.2_Euler.tar.gz
FusionInsight_BASE_8.2.0.2_Euler.tar.gz.cms
FusionInsight_BASE_8.2.0.2_Euler.tar.gz.crl
FusionInsight_MPPDB_8.2.1.3_Euler.tar.gz
FusionInsight_MPPDB_8.2.1.3_Euler.tar.gz.cms
FusionInsight_MPPDB_8.2.1.3_Euler.tar.gz.crl
FusionInsight_SetupTool_8.2.0.2.tar.gz
FusionInsight_SetupTool_8.2.0.2.tar.gz.cms
FusionInsight_SetupTool_8.2.0.2.tar.gz.crl
FusionInsight_UpdateService_8.2.0.2.tar.gz
FusionInsight_UpdateService_8.2.0.2.tar.gz.cms
FusionInsight_UpdateService_8.2.0.2.tar.gz.crl
3.4 项目实施计划
集群安装流程：
上图流程中“安装双机Manager”就是在两个节点上安装FusionInsight Manager，
“安装集群”的这个步骤就是安装GaussDB(DWS)数据库（DWS是分布式数据库，最少需要3个节点，所以就是在3台服务器上面安装GaussDB数据库）
4.数据库服务器规划
4.1 主机基础信息
| 控制节点1 | 控制节点2 | 数据节点1 | |
|---|---|---|---|
| hostname | bigdata-dws-mn-101 | gauss-dws-manager-102 | gauss-dws-dn-109 |
| IP | 192.168.4.101 | 192.168.4.101 | 192.168.4.109 |
| IP | 10.10.10.101 | 10.10.10.101 | 10.10.10.109 |
| 内存 | 32G | 32G | 32G |
4.2 磁盘配置规划
GaussDB(DWS)系统中磁盘共主要分为以下几种类型：
- 操作系统盘：OS盘，存在于所有节点，用来存放各节点操作系统，有固定的分区要求。
- 元数据盘：存在于管理节点。用来存放GaussDB(DWS)元数据。
- 数据盘：存在于数据节点，用来存放GaussDB(DWS)的数据。
磁盘容量要求
容量要求如下：
操作系统盘建议组RAID1，480GB
元数据盘也建议组RADI1，600G
数据盘建议组RAID5，600GB
磁盘分区要求
OS盘在安装操作系统时需要手动分区，分区信息如下：
- 根分区：20G
- /tmp：10G
- /var: 10G
- /var/log: 130G
- /srv/BigData: 60G
- /opt: OS盘剩余空间都分配给“/opt”分区，分区容量不小于150GB
元数据盘不需要手动分区，在后续的preinstall阶段会自动分区
- /srv/BigData/dbdata_om，该分区是manager的pg数据库目录
- /srv/BigData/LocalBackup，单独占用一个盘符，建议容量≥300GB
数据盘不需要手动分区，在后续的步骤会自动分区
- /srv/BigData/mppdb/data1...32（最多支持32个分区）
如果需要手动格式化磁盘：
- SUSE/Redhat/CentOS版本系统的数据目录建议使用xfs格式文件系统
规划配置
在本次安装中有3个节点，其实2个是管理节点，还剩下1个是数据节点
由于这次只是采用虚拟机安装测试，所以不需要配置太多的磁盘
管理节点的磁盘数量（需要5块硬盘）：
OS盘：1块
元数据盘：2块
数据盘：2块
数据节点（需要3块硬盘）：
-
OS盘：1块
-
数据盘：2块
4.3 网络配置规划
GaussDB(DWS)整个系统网络划分为两个平面：管理平面和业务平面
- 管理平面通过运维网络接入，提供系统管理和维护功能，主要用于集群的管理，对外提供集群监控、配置、审计、用户管理等服务。
- 业务平面，主要用于集群内部数据处理的专用网络平面，此处的业务平面非客户的应用网络平面
也就是说管理平面才是真正与外网业务系统通信的，而业务平面式是的（有点像OracleRAC的私网，用来做心跳网络和联共享存储的网络）
文档中说：
- 为确保业务平面的数据存储安全和数据库内部的数据处理性能达到最优，建议客户的业务应用统一接入管理平面。
- 当客户业务涉及大批量数据传输时可接入业务平面。
- 管理平面要求最低满足千兆带宽，业务平面要求最低满足万兆带宽，可根据实际业务需要对管理平面和业务平面的带宽进行调整。
GaussDB(DWS)的组网方式分为单平面组网和双平面组网。采用单平面组网时，不区分管理平面和业务平面
本次实验采用的网络平面
| 网络平面 | 网段 | 网关 |
|---|---|---|
| 管理IP | 192.168.4.0/24 | 192.168.4.254 |
| 业务IP | 10.10.10.0/24 | 10.10.10.254 |
4.4 系统安装规划
使用虚拟机安装3个麒麟操作系统的虚拟机
创建之后添加多一个网卡，后面安装成功之后再添加几个磁盘
01 虚拟机安装
第一步直接选择英语安装
选择时区
选中图形系统，下一步
对操作系统进行分区，这里输入容量时直接写20G，不是20GB
一共分了8个区，使用xfs格式就可以了
配置IP和hostname
安装成功后，具体分区如下：
[root@bigdata-dws-mn-101 ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 480G 0 disk
├─sda1 8:1 0 500M 0 part /boot
├─sda2 8:2 0 500M 0 part /boot/efi
└─sda3 8:3 0 479G 0 part
├─klas-root 253:0 0 20G 0 lvm /
├─klas-srv_BigData 253:1 0 60G 0 lvm /srv/BigData
├─klas-tmp 253:2 0 10G 0 lvm /tmp
├─klas-var 253:3 0 10G 0 lvm /var
├─klas-var_log 253:4 0 130G 0 lvm /var/log
└─klas-opt 253:5 0 249G 0 lvm /opt
sr0 11:0 1 1024M 0 rom
[root@bigdata-dws-mn-101 ~]# free -g
total used free shared buff/cache available
Mem: 30 0 29 0 0 29
Swap: 0 0 0
02 虚拟机添加磁盘
管控节点添加4块硬盘：
普通数据节点新增2块硬盘：
添加硬盘完成的效果：
[root@bigdata-dws-mn-101 ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 480G 0 disk
├─sda1 8:1 0 500M 0 part /boot
├─sda2 8:2 0 500M 0 part /boot/efi
└─sda3 8:3 0 479G 0 part
├─klas-root 253:0 0 20G 0 lvm /
├─klas-srv_BigData
│ 253:1 0 60G 0 lvm /srv/BigDa
├─klas-tmp 253:2 0 10G 0 lvm /tmp
├─klas-var 253:3 0 10G 0 lvm /var
├─klas-var_log 253:4 0 130G 0 lvm /var/log
└─klas-opt 253:5 0 249G 0 lvm /opt
sdb 8:16 0 600G 0 disk
sdc 8:32 0 600G 0 disk
sdd 8:48 0 600G 0 disk
sde 8:64 0 600G 0 disk
sr0 11:0 1 1024M 0 rom
[root@bigdata-dws-mn-102 ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 480G 0 disk
├─sda1 8:1 0 500M 0 part /boot
├─sda2 8:2 0 500M 0 part /boot/efi
└─sda3 8:3 0 479G 0 part
├─klas-root 253:0 0 20G 0 lvm /
├─klas-srv_BigData
│ 253:1 0 60G 0 lvm /srv/BigDa
├─klas-tmp 253:2 0 10G 0 lvm /tmp
├─klas-var 253:3 0 10G 0 lvm /var
├─klas-var_log 253:4 0 130G 0 lvm /var/log
└─klas-opt 253:5 0 249G 0 lvm /opt
sdb 8:16 0 600G 0 disk
sdc 8:32 0 600G 0 disk
sdd 8:48 0 600G 0 disk
sde 8:64 0 600G 0 disk
sr0 11:0 1 1024M 0 rom
[root@bigdata-dws-dn-109 ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 480G 0 disk
├─sda1 8:1 0 500M 0 part /boot
├─sda2 8:2 0 500M 0 part /boot/efi
└─sda3 8:3 0 479G 0 part
├─klas-root 253:0 0 20G 0 lvm /
├─klas-srv_BigData
│ 253:1 0 60G 0 lvm /srv/BigDa
├─klas-tmp 253:2 0 10G 0 lvm /tmp
├─klas-var 253:3 0 10G 0 lvm /var
├─klas-var_log 253:4 0 130G 0 lvm /var/log
└─klas-opt 253:5 0 249G 0 lvm /opt
sdb 8:16 0 600G 0 disk
sdc 8:32 0 600G 0 disk
sr0 11:0 1 1024M 0 rom
[root@bigdata-dws-dn-109 ~]#
03 系统配置
如果是全新安装的话，一般的要求都是符合的，软件、版本都是符合的
防火墙等安全配置和一些操作系统参数，会在后续的安装程序中自动修改的，这里可以手动关一下
systemctl stop firewalld
systemctl disable firewalld
vim /etc/selinux/config
我使用虚拟机就关闭一下图形化界面，节省一下内存
systemctl set-default multi-user.target
安装操作系统需要的rpm
rpm -Uvh sdparm-1.11-0.ky10.x86_64.rpm
rpm -Uvh haveged-1.9.13-4.ky10.x86_64.rpm
systemctl restart haveged
systemctl status haveged
修复麒麟系统的bug
ls *.rpm
audit-3.0-5.se.12.ky10.x86_64.rpm audit-libs-3.0-5.se.12.ky10.x86_64.rpm python3-audit-3.0-5.se.12.ky10.x86_64.rpm
rpm -Uvh *.rpm
systemctl daemon-reload
systemctl restart auditd.service
rpm -qa audit
上传操作系统镜像到一台管理节点上面
[root@bigdata-dws-mn-101 ~]# mount /opt/Kylin-Server-10-SP2-x86-Release-Build09-20210524.iso /media/ -o loop
04 解决现有问题
修改配置，避免在检查安装环境时产生的操作
- 修改磁盘预读块大小
不修改会产生以下问题
执行以下命令，看现在的预读块大小
cat /sys/block/sd*/queue/read_ahead_kb
在所有的节点上执行以下命令，修改成16384（数据节点没有sdd和sde盘）
echo 16384 > /sys/block/sda/queue/read_ahead_kb
echo 16384 > /sys/block/sdb/queue/read_ahead_kb
echo 16384 > /sys/block/sdc/queue/read_ahead_kb
echo 16384 > /sys/block/sdd/queue/read_ahead_kb
echo 16384 > /sys/block/sde/queue/read_ahead_kb
再修改rc.local，启动重启后可以自动生效
vi /etc/rc.local
echo 16384 > /sys/block/sda/queue/read_ahead_kb
echo 16384 > /sys/block/sdb/queue/read_ahead_kb
echo 16384 > /sys/block/sdc/queue/read_ahead_kb
echo 16384 > /sys/block/sdd/queue/read_ahead_kb
echo 16384 > /sys/block/sde/queue/read_ahead_kb
chmod +x /etc/rc.local
- 修改
/etc/cron.allow'
在所有的节点上，执行以下命令
echo "omm" >> /etc/cron.allow
4.5 LLD文档设计
01 基础配置页
对集群进行命名
02 选择服务
这几个都是必装的
03 IP规划页
-
OMSServer是部署在两个管理节点上，而且是主备配置
-
LdapServer和KrbServer是部署在控制节点上的
-
3台服务器都是DN，所以都要选择上MPPDB服务
04 节点信息
[root@bigdata-dws-mn-102 ~]# free -g
total used free shared buff/cache available
Mem: 30 0 29 0 0 29
Swap: 0 0 0
[root@bigdata-dws-mn-101 ~]# parted -l 2>/dev/null | grep "Disk /dev/" | grep -iv "Disk /dev/mapper"
Disk /dev/sda: 515GB
Disk /dev/sdb: 644GB
Disk /dev/sdc: 644GB
Disk /dev/sdd: 644GB
Disk /dev/sde: 644GB
[root@bigdata-dws-dn-109 ~]# parted -l 2>/dev/null | grep "Disk /dev/" | grep -iv "Disk /dev/mapper"
Disk /dev/sda: 515GB
Disk /dev/sdb: 644GB
Disk /dev/sdc: 644GB
最小配置64G的内存，这里可以先输入64，后面可以改
05 配置浮动IP
这里就用管理IP的网段
06 磁盘配置
这里安装文档要求填就行了
两个管理节点有2块元数据盘，普通的数据盘有2块
07 集群参数配置
dn进程是和数据盘一致的
选择主和备的IP地址
08 实例参数配置
09 生成文件
10 修改生成的文件
修改precheck文件夹下的checkNodes.Config文件
因为我们的虚拟机内存不够大，所以修改一下检查文件，把64改成32
5.软件安装实施流程
5.1 配置软件包
如果无法获取root用户权限，可以使用omm用户安装集群
本次安装都使用root用户来安装
- 第一步，先上传软件包至要安装Manager的节点（也就是上传到管理的两台机器上），上传到"/opt"目录下
FusionInsight_BASE_8.2.0.2_Euler.tar.gz
FusionInsight_BASE_8.2.0.2_Euler.tar.gz.cms
FusionInsight_BASE_8.2.0.2_Euler.tar.gz.crl
FusionInsight_Manager_8.2.0.2_Euler.tar.gz
FusionInsight_Manager_8.2.0.2_Euler.tar.gz.cms
FusionInsight_Manager_8.2.0.2_Euler.tar.gz.crl
FusionInsight_MPPDB_8.2.1.3_Euler.tar.gz
FusionInsight_MPPDB_8.2.1.3_Euler.tar.gz.cms
FusionInsight_MPPDB_8.2.1.3_Euler.tar.gz.crl
FusionInsight_SetupTool_8.2.0.2.tar.gz
FusionInsight_SetupTool_8.2.0.2.tar.gz.cms
FusionInsight_SetupTool_8.2.0.2.tar.gz.crl
FusionInsight_UpdateService_8.2.0.2.tar.gz
FusionInsight_UpdateService_8.2.0.2.tar.gz.cms
FusionInsight_UpdateService_8.2.0.2.tar.gz.crl
- 先解压这两个软件包
tar zxvf FusionInsight_Manager_8.2.0.2_Euler.tar.gz
tar zxvf FusionInsight_SetupTool_8.2.0.2.tar.gz
- 将BASE, MPPDB部件包拷贝至“/opt/FusionInsight_Manager/software/packs”路径下
cp FusionInsight_BASE_8.2.0.2_Euler.tar.gz* /opt/FusionInsight_Manager/software/packs/
cp FusionInsight_MPPDB_8.2.1.3_Euler.tar.gz* /opt/FusionInsight_Manager/software/packs/
-
安装双机Manager，请使用root用户登录备管理节点，重复执行上述步骤
-
在主管理节点挂载操作系统镜像
[root@bigdata-dws-mn-101 ~]# mount /opt/Kylin-Server-10-SP2-x86-Release-Build09-20210524.iso /media/ -o loop
5.2 上传LLD配置文件
以下文件需要上传到主备两个节点上
-
上传
preinstall.ini到/opt/FusionInsight_SetupTool/preinstall -
上传
cacert.ini到到/opt/FusionInsight_SetupTool/preinstall（没有的话就不用上传） -
上传
host***.ini，/opt/FusionInsight_SetupTool/preinstall/partition/ini -
上传
*.conf，到/opt/FusionInsight_SetupTool/preinstall/partition/ini-plugin/conf -
上传
checkNodes.Config到/opt/FusionInsight_SetupTool/precheck -
上传
password.ini上传到/opt/FusionInsight_Manager/software
先手动建一下目录
mkdir -p /opt/FusionInsight_Manager/software/install_oms
- 上传
*HostIP*.ini到/opt/FusionInsight_Manager/software/install_oms，上传到对应的主节点或者备节点
5.3 配置并检查安装环境
修改文件，防止ssh超时退出
以root用户登录主管理节点，执行以下命令防止ssh超时退出
- 执行vi /etc/pro~file打开配置文件，修改参数“export TMOUT=0”，保存退出，再执行source /etc/profile导入配置文件。
vi /etc/profile
export TMOUT=0
source /etc/profile
- 执行vi /etc/ssh/sshd_config打开配置文件，修改参数“ClientAliveInterval”为0 ，“ClientAliveCountMax”为3，保存退出，执行service sshd restart重启sshd服务。
vi /etc/ssh/sshd_config
ClientAliveInterval 0
ClientAliveCountMax 3
service sshd restart
- 断开PuTTY重新连接节点，配置生效
检查preinstall.ini
cd /opt/FusionInsight_SetupTool/preinstall
cat preinstall.ini
进入安装脚本工具包的解压目录，例如“/opt/FusionInsight_SetupTool/preinstall”，检查配置规划工具生成的“preinstall.ini”是否已上传到此目录。
请确保“g_parted_conf”对应节点中要格式化的分区内没有数据。
[root@bigdata-dws-mn-101 ~]# cd /opt/FusionInsight_SetupTool/preinstall
[root@bigdata-dws-mn-101 preinstall]# cat preinstall.ini
oms_ip1=192.168.4.101
oms_ip2=192.168.4.102
g_hosts="192.168.4.101,192.168.4.102,192.168.4.109"
g_user_name="root"
g_port=22
g_parted=2
g_parted_conf="192.168.4.101#host0.ini;192.168.4.102#host1.ini;192.168.4.109#host2.ini;"
g_add_pkg=1
g_pkgs_dir="kylin-V10-SP2:/media/"
g_log_file="/tmp/fi-preinstall.log"
g_debug=0
g_hostname_conf="192.168.4.101#10.10.10.101#bigdata-dws-mn-101;192.168.4.102#10.10.10.102#bigdata-dws-mn-102;192.168.4.109#10.10.10.109#bigdata-dws-dn-109;"
g_swap_off=1
g_platform="x86_64"
[root@bigdata-dws-mn-101 preinstall]#
preinstall阶段
执行安装前配置命令
cd /opt/FusionInsight_SetupTool
./setuptool.sh preinstall
输入root用户的密码（如使用omm用户安装集群，请输入omm用户密码），等待执行完毕。
[root@bigdata-dws-mn-101 ~]# cd /opt/FusionInsight_SetupTool
[root@bigdata-dws-mn-101 FusionInsight_SetupTool]# ./setuptool.sh preinstall
Please enter cluster SSH password for root:
运行preinstall脚本.......
preinstall”过程结束后，默认会自动继续进行“precheck”过程。如下所示
“ERROR”级别必须在安装前解决，“WARNING”级别请根据实际情况审视。
处理完毕后，请执行以下动作：
执行以下命令重新执行precheck任务。
cd /opt/FusionInsight_SetupTool
./setuptool.sh precheck precheck/checkNodes.Config
输入各节点用于安装集群用户的密码，等待执行完成。
重新查看precheck错误日志，直至所有“ERROR”级别的项目全部处理完毕，且“WARNING”级别项目经审视对安装无影响为止。
该错误经华为技术人员确认，可以忽略
- **“preinstall****”格式化分区执行结果。
[root@bigdata-dws-mn-101 ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
loop0 7:0 0 4G 0 loop /media
sda 8:0 0 480G 0 disk
├─sda1 8:1 0 500M 0 part /boot
├─sda2 8:2 0 500M 0 part /boot/efi
└─sda3 8:3 0 479G 0 part
├─klas-root 253:0 0 20G 0 lvm /
├─klas-srv_BigData 253:1 0 60G 0 lvm /srv/BigData
├─klas-tmp 253:2 0 10G 0 lvm /tmp
├─klas-var 253:3 0 10G 0 lvm /var
├─klas-var_log 253:4 0 130G 0 lvm /var/log
└─klas-opt 253:5 0 249G 0 lvm /opt
sdb 8:16 0 600G 0 disk
└─sdb1 8:17 0 600G 0 part /srv/BigData/dbdata_om
sdc 8:32 0 600G 0 disk
└─sdc1 8:33 0 600G 0 part /srv/BigData/LocalBackup
sdd 8:48 0 600G 0 disk
└─sdd1 8:49 0 600G 0 part /srv/BigData/mppdb/data2
sde 8:64 0 600G 0 disk
└─sde1 8:65 0 600G 0 part /srv/BigData/mppdb/data1
sr0 11:0 1 1024M 0 rom
[root@bigdata-dws-mn-101 ~]# df -Th
Filesystem Type Size Used Avail Use% Mounted on
devtmpfs devtmpfs 16G 0 16G 0% /dev
tmpfs tmpfs 16G 0 16G 0% /dev/shm
tmpfs tmpfs 16G 18M 16G 1% /run
tmpfs tmpfs 16G 0 16G 0% /sys/fs/cgroup
/dev/mapper/klas-root xfs 20G 7.2G 13G 36% /
/dev/mapper/klas-opt xfs 249G 14G 236G 6% /opt
/dev/mapper/klas-var xfs 10G 310M 9.7G 4% /var
/dev/mapper/klas-srv_BigData xfs 60G 461M 60G 1% /srv/BigData
/dev/mapper/klas-tmp xfs 10G 105M 9.9G 2% /tmp
/dev/mapper/klas-var_log xfs 130G 979M 129G 1% /var/log
/dev/sda1 xfs 495M 201M 295M 41% /boot
/dev/sda2 vfat 500M 24K 500M 1% /boot/efi
tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/0
/dev/loop0 iso9660 4.1G 4.1G 0 100% /media
/dev/sdb1 xfs 600G 4.3G 596G 1% /srv/BigData/dbdata_om
/dev/sdc1 xfs 600G 4.3G 596G 1% /srv/BigData/LocalBackup
/dev/sde1 xfs 600G 4.3G 596G 1% /srv/BigData/mppdb/data1
/dev/sdd1 xfs 600G 4.3G 596G 1% /srv/BigData/mppdb/data2
5.4 安装FusionInsight Manager
接下来需要分别在主备管理节点上安装FusionInsight Manager
- 在主节上安装
cd /opt/FusionInsight_Manager/software
./install.sh -f /opt/FusionInsight_Manager/software/install_oms/192.168.4.101.ini
以下为安装成功
[root@bigdata-dws-mn-101 software]# ./install.sh -f /opt/FusionInsight_Manager/software/install_oms/192.168.4.101.ini
=================================== Welcome ===================================
=== STEP 1 Checking the parameters.
=== STEP 2 Preparing for installation components. [done]
=== STEP 3 Installing the manager. [done]
=== STEP 4 Installing the packs. [done]
=== STEP 5 Starting the OMS. [done]
=== STEP 6 Waiting for chrony to startup. [done]
=== STEP 7 Configuring and starting agent. [done]
============================= Install Successfully ============================
Please visit https://192.168.4.128:28443/web/ to continue cluster installation.
Installation is successful.
安装命令执行过程中，不支持通过“Ctrl+Z”将任务挂起。挂起后再恢复执行时可能会导致安装失败
- 再在备节点上安装
同样配置ssh
echo "export TMOUT=0" >> /etc/profile
source /etc/profile
执行安装Manager命令，等待安装执行完毕。
cd /opt/FusionInsight_Manager/software
./install.sh -f /opt/FusionInsight_Manager/software/install_oms/192.168.4.102.ini
连续输入两次y，并按回车键确认。
[root@bigdata-dws-mn-102 precheck]# cd /opt/FusionInsight_Manager/software
[root@bigdata-dws-mn-102 software]# ./install.sh -f /opt/FusionInsight_Manager/software/install_oms/192.168.4.102.ini
=================================== Welcome ===================================
=== STEP 1 Checking the parameters.
The ws_float_ip(192.168.4.128) already exists on the network. Is it used on the active OMS HA? (y/n):y
The om_float_ip(192.168.4.128) already exists on the network. Is it used on the active OMS HA? (y/n):y
=== STEP 2 Preparing for installation components. [done]
=== STEP 3 Installing the manager. [done]
=== STEP 4 Installing the packs. [done]
=== STEP 5 Starting the OMS. [done]
=== STEP 6 Waiting for chrony to startup. [done]
=== STEP 7 Configuring and starting agent. [done]
============================= Install Successfully ============================
Please visit https://192.168.4.128:28443/web/ to continue cluster installation.
Installation is successful.
[root@bigdata-dws-mn-102 software]#
安装命令执行过程中，不支持通过“Ctrl+Z”将任务挂起。挂起后再恢复执行时可能会导致安装失败
5.5 更新sudo脚本
- 以root用户登录主管理节点，修改分发配置文件
cd /opt/FusionInsight_SetupTool
vi preinstall/tools/cluster/cluster.ini
- 设置“g_hosts”参数值为集群内主、备管理节点的管理IP地址，以逗号分隔。重装管理节点操作时则填写待更新节点的信息。
- 设置“g_password”为各节点的root密码信息存储文件。
- “g_timeout”参数为各节点执行超时时间，建议设置大于或等于300。
- “g_ip_model”根据集群网络设置为 “IPv4”或 “IPv6”
例如：
g_hosts="192.168.4.[101-102]"
g_user_name="root"
g_password="/opt/passwd"
g_port=22
g_timeout=300
g_ip_model="IPv4"
其中“/opt/passwd”文件需手动创建，内容格式为：
节点IP
节点密码
创建opt/passwd文件
vim /opt/passwd
192.168.4.[101-102]
*root密码*
- 进入sudo补丁的工具目录,更换sudo脚本
cd os_optimization_tool
sh optimization_patch.sh install
如果需要回滚sudo脚本，执行sh optimization_patch.sh rollback命令进程回滚
更换完sudo脚本确认没问题后，执行sh optimization_patch.sh commit命令进行提交，提交后将不能回滚
[root@bigdata-dws-mn-101 os_optimization_tool]# sh optimization_patch.sh commit
Start to commit optimization patch.
Commit sudo patch successfully.
5.6 安装集群服务
登录FusionInsight Manager系统
在浏览器地址栏中，输入FusionInsight Manager的网络地址
地址格式为“https://FusionInsight Manager系统的WebService浮动IP**地址:28443/web”。
https://192.168.4.128:28443/web
进入界面
修改密码登录后
创建集群
- 执行一下命令，查看是否符合16384的结果，若不是请修改（可能被修改了）
cat /sys/block/sd*/queue/read_ahead_kb
- 创建集群
单击“创建集群
选中“模板安装”，选择LLD文档生成的xml配置文件
输入root密码来查找主机
查找之后直接跳到最后一步了
我们可以从头浏览一下
1.选择主机
2.设置机架
4.选择服务
6.分配角色
提交安装
等待安装过程
安装完成
5.7 安装后检查
检查集群状态
- 检查服务状态
登录FusionInsight Manager系统，检查服务的状态。选择“集群 > 待操作的集群名称 > 服务”，各服务的“运行状态”为“良好
- 检查节点状态。在FusionInsight Manager页面单击“主机”，各节点的“运行状态”为“良好
执行健康检查
- 手动执行集群的健康检查
- 手动执行主机健康检查
gsql登录
su - omm
source ${BIGDATA_HOME}/mppdb/.mppdbgs_profile
gsql -d postgres -p25308 -r
cm_ctl query -Cvipd
6.运维指南
6.1 系统上下电
系统上电
- 以omm用户登录任意一个管理节点，执行如下命令，启动OMS
sh ${BIGDATA_HOME}/om-server/om/sbin/start-oms.sh
显示以下信息表示成功启动OMS
[omm@bigdata-dws-mn-101 ~]$ sh ${BIGDATA_HOME}/om-server/om/sbin/start-oms.sh
[2024-09-07 16:35:23] [INFO] Enter into start-oms.sh with user omm
start HA successfully.
[2024-09-07 16:36:17] [INFO] End start-oms.sh with user omm
- 以omm用户登录另一个管理节点，执行如下命令，启动OMS
sh ${BIGDATA_HOME}/om-server/om/sbin/start-oms.sh
显示以下信息表示成功启动OMS
[omm@bigdata-dws-mn-102 ~]$ sh ${BIGDATA_HOME}/om-server/om/sbin/start-oms.sh
[2024-09-07 16:37:33] [INFO] Enter into start-oms.sh with user omm
start HA successfully.
[2024-09-07 16:38:11] [INFO] End start-oms.sh with user omm
- 在浏览器地址栏中，输入并访问FusionInsight Manager的网络地址，等待OMS自动启动完成则能够正常打开页面
https://192.168.4.128:28443/web
-
登录FusionInsight Manager，启动各个集群
-
启动依赖集群运行的上层业务
系统下电
-
首先，停止依赖集群运行的上层业务。
-
登录FusionInsight Manager，停止Manager内的各个集群
- 以omm用户登录主管理节点，执行如下命令，停止主OMS
su - omm
sh ${BIGDATA_HOME}/om-server/om/sbin/stop-oms.sh
显示以下信息表示成功停止OMS
[omm@bigdata-dws-mn-101 ~]$ sh ${BIGDATA_HOME}/om-server/om/sbin/stop-oms.sh
[2024-09-07 16:26:05] [INFO] Enter into stop-oms.sh with user omm
stop HA successfully.
[2024-09-07 16:26:22] [INFO] End stop-oms.sh with user omm
- 以omm用户登录备管理节点, 执行如下命令，停止备OMS
su - omm
sh ${BIGDATA_HOME}/om-server/om/sbin/stop-oms.sh
显示以下信息表示成功停止OMS
[omm@bigdata-dws-mn-102 ~]$ sh ${BIGDATA_HOME}/om-server/om/sbin/stop-oms.sh
[2024-09-07 16:27:24] [INFO] Enter into stop-oms.sh with user omm
stop HA successfully.
[2024-09-07 16:27:41] [INFO] End stop-oms.sh with user omm
- 下电服务器
