Huawei-2488H-V5服务器基础配置与系统安装
0x00 前言简述
描述: 由于最近公司来了一批华为的服务器以及存储,来的时候真的感到非常意外因为从中标到接货超过了1个半月,其间还因为各种事进行推延; 在现场实施人员完成服务器上架以及测试后,由于业务的需求需要将其中的两台安装VMware ESXI
将另外几台服务器安装修改后的CentOS7
服务器系统,为后面kubernetes集群搭建做准备;
机器基础配置一览:
厂商: Huawei
机器型号: 2488H V5
产品结构: 2U
CPU: Intel Xeon Gold 6130 (十六核心/三十二线程)
CPU Type: Skylake
内存: 512G
磁盘: 600G X 2
BIOS 平台: Purley
阵列卡: MSCC SmartRAID 3152-8i 控制卡
HBA卡
iBMC:5.06
iBMC IP: 192.168.2.100
官方产品地址: FusionServer Pro智能服务器 > 机架服务器 > 产品型号: 2488H V5
BIOS平台与CPU型号对照表:
![](https://ask.qcloudimg.com/http-save/yehe-1389665/spqddrzpt5.png?imageView2/2/w/1620)
WeiyiGeek.BIOS-CPU
0x01 硬件基础介绍
1.阵列卡 MSCC SmartRAID 3152-8i
描述:MSCC SmartRAID 3152-8i控制卡(以下简称3152-8i
)提供2个12Gbit/s的mini SAS HD接口,支持PCIe 3.0接口,并支持最多8个phy。它用于提高系统性能,并提供数据容错存储功能,支持数据的多硬盘分片存储,支持多硬盘同时读/写访问,有效降低硬盘数据访问延时。
Q: 什么是phy? 答: 全称为
Physical Layer
物理层的芯片,一般PHY芯片为模数混合电路,负责接收电、光这类模拟信号,经过解调和A/D转换后通过MII接口将信号交给MAC芯片(纯数字电路)进行处理。物理层定义了数据传送与接收所需要的电与光信号、线路状态、时钟基准、数据编码和电路等,并向数据链路层设备提供标准接口。
MSCC SmartRAID 3152-8i控制卡自带的Cache对标卡性能的提升
有非常重要的作用,主要体现在:
- 在写数据时,直接写入Cache,当写入的数据积累到一定程度,RAID卡才将数据刷新到硬盘,这样不但实现了批量写入,而且
Cache作为快速读写设备
,其本身的读写速度都远高于硬盘,因此采用 Cache后,整个设备的写数据速度得到提高。 - 在读数据时,如果可以直接在Cache中命中的话,将减少磁盘寻道操作,降低响应时间,提升了数据读速度。
3152-8i安装在服务器的PCIe槽位上,结构如图所示。
![](https://ask.qcloudimg.com/http-save/yehe-1389665/uwsjh4dsqo.png?imageView2/2/w/1620)
WeiyiGeek.
3152-8i 基本参数(我选择有卖点的特性参数)
接口速率 (Gbit/s) :12
支持的RAID组数量 :64
单个RAID组支持的最大硬盘数 : 128
所有RAID组包含的最大硬盘数量: 238
硬盘直通模式支持的硬盘数量:238
支持的最大硬盘数:238
支持的热备盘个数:32(每个Array最多支持4个热备盘)
MaxCache支持的SSD最大个数:128
MaxCache最大容量:6.8TB
MaxCache是否支持热备:否
MaxCache支持的RAID级别: 0/1/10/5
支持的RAID级别:RAID 0/1/1ADM/10/10ADM/5/50/6/60
是否支持设置条带单元: 是(可设为16KiB/32KiB/64KiB/128KiB/256KiB/512KiB/1024KiB)
是否支持RAID级别在线迁移:是
是否支持在线扩容:是
是否支持硬盘直通: 是
是否支持SSD IO Bypass:是
是否支持4K盘:是
#备注1:MaxCache即SSD Cache,Microsemi将该功能定义为“MaxCache”。
3152-8i 基本功能
- 支持多种RAID级别:3152-8i最多支持238个硬盘,最多支持64个Array,每个Array最多支持64个LD(Logical Driver),整张RAID卡所有Array最多支持64个LD。
![](https://ask.qcloudimg.com/http-save/yehe-1389665/icgk50krae.png?imageView2/2/w/1620)
WeiyiGeek.RAID级别
- 支持多种工作模式
- RAID模式:控制器下的逻辑盘会上报OS,但直通盘不会报送给OS。
- HBA模式:控制器的所有RAID功能都被禁用,控制器下所有硬盘都被视为直通盘。
- Mixed模式:RAID逻辑盘和直通盘都会报送给OS。
- 硬盘热备份
- 硬盘热插拔:请确认拔掉硬盘与插上硬盘的时间间隔在30s以上,以避免造成硬盘无法被识别。
- 重建
- 硬盘分条
- 硬盘直通: 又称指令透传,是不经过传输设备处理,仅保证传输质量的一种数据传输方式。在不配置虚拟磁盘的情况下,用户指令可以直接透传到硬盘,方便上层业务软件或管理软件访问控制硬盘
- 例如,服务器操作系统安装过程中,可以直接找到挂载在3152-8i下的硬盘作为安装盘;而不支持硬盘直通的RAID卡,在操作系统安装过程中,只能找到该RAID卡下已经配置好的虚拟磁盘作为安装盘。
- 擦除硬盘数据:支持“Erase Disk”即安全擦除指定硬盘;数据擦除过程中,不能执行关机,重启,插拔硬盘等操作,否则会导致硬盘被损坏。
- 容量扩展
- 读写高速缓存
- 数据掉电保护
- 硬盘指示灯
- 硬盘Fault指示灯(故障-黄色):
灭:表示硬盘运行正常
;黄色闪烁:表示硬盘处于被定位状态或RAID重构状态;黄色常亮:表示硬盘故障或RAID组中的成员盘状态异常。 - 硬盘Active指示灯(正常-绿色):
灭:表示硬盘不在位或硬盘故障;
绿色闪烁:表示硬盘处于读写状态或同步状态; 绿色常亮:表示硬盘处于非活动状态。
- 硬盘Fault指示灯(故障-黄色):
- 外部配置导入:当包含RAID配置信息的硬盘插入服务器后,服务器在启动过程中识别到当前硬盘配置符合该外部配置要求时,自动导入外部配置。
Q: 什么是Array? 答:Array即通常所说的硬盘组,每个Array可以包括1个或多个LD。
参考地址:https://support.huawei.com/enterprise/zh/doc/EDOC1100048779/b1eeb02e
0x02 操作系统安装
0.华为设备缺省信息
默认的账号及其密码,采用其可以登陆修改BIOS以及进入iBMC界面
# V1调试密码:[email protected]
# V1/V2/V3/V5存储,IP:192.168.128.101/102(A/B)
用户名/密码:admin/[email protected](默认)
用户名/密码:admin/Huawei12#$
# V2/V3服务器 IP:192.168.2.100 iBMC 控制台 (账号密码)
用户名/密码:root/Huawei12#$
#V5服务器 IP:192.168.2.100 iBMC 控制台 (账号密码)
用户名/密码:Administrator/[email protected]
1.准备工作
描述: 下面描述都以2488H V5服务器为例进行讲述,系统开机功能界面选择:
# iBMC
- 版本
- 管理地址
# 功能参数
Del -- 服务器BIOS
F11 -- 启动项选择
F12 -- 网络启动
F3 -- 启动项选择(远程键盘) #通过网页访问或者KVM的时候使用、
F4 -- 服务器BIOS(远程键盘)
F6 -- SP Boot(Smart Provisioning) #系统安装
![](https://ask.qcloudimg.com/http-save/yehe-1389665/29gswy1eew.png?imageView2/2/w/1620)
WeiyiGeek.
服务器系统安装流程如下:
![](https://ask.qcloudimg.com/http-save/yehe-1389665/13b907qh1m.png?imageView2/2/w/1620)
WeiyiGeek.
1.1 BIOS默认设置: 华为服务器在出厂时已设置为最优的配置,我们强烈推荐您使用默认的BIOS设置,如果修改请在服务器BIOS POST过程中按下Delete键,进入BIOS SETUP菜单,按下F9加载默认配置。
例如,下表是使用VMware系统时的BIOS推荐设置;
BIOS选项 |
推荐值 |
---|---|
Hyper-Threading[ALL] |
Enabled |
Monitor/Mwait[1] |
Enabled |
VMX |
Enabled |
PCIe SR-IOV |
Enabled |
Intel VT for Direct I/O(VT-d) |
Enabled |
Interrupt Remapping |
Enabled |
PCI 64-Bit Resource Allocation |
Enabled |
Hardware Prefetcher |
Enabled |
Adjacent Cache Prefetch |
Enabled |
DCU Stramer Prefetcher |
Enabled |
DCU IP Prefetcher |
Enabled |
注1:Monitor/Mwait选项值对EVC兼容性的影响参见关于Monitor/Mwait和EVC兼容性。 |
在部署系统前,请确认服务器BIOS、BMC等都已经更新到最新版本。
- Huawei服务器2488H V5补丁版本: https://support.huawei.com/enterprise/zh/intelligent-servers/2488h-v5-pid-22350433/software
- Huawei服务器系统兼容检测:https://support-it.huawei.com/ftca/zh/product/rack-server
- Huawei服务器系统系统安装:https://support.huawei.com/enterprise/zh/doc/EDOC1000040218/512b2e65
1.2 系统时间设置 描述:如果系统时间不正确就需要进行调整,此时您需要在BOIS中进行设置系统时间 ; BIOS Setup Utility -> 在菜单栏中,选择“Main”页签 -> 选择“System Time” -> 选择“System Date”
1.3 启动顺序调整 在菜单栏中,选择“Boot > Boot Sequence”,按“Enter” -> 进入“Boot Sequence”界面 按照最下面的操作提示进行;
2.创建Riad阵列磁盘
描述:在BIOS中“Boot Type”设置为“UEFI Boot”模式时,打开的管理界面如下所述。我们在EFI/UEFI模式下我们进行raid的初始化配置;
Step 1.登录管理界面BIOS版本为V363及以下, 启动服务器过程中在显示IMBC IP地址界面按“F11”,弹出密码输入框(输入默认的BIOS密码[email protected])。
![](https://ask.qcloudimg.com/http-save/yehe-1389665/82l7wspsuo.png?imageView2/2/w/1620)
WeiyiGeek.
Step 2.Front Page界面 -> 选择“Device Manager”并按“Enter” -> 选择要操作的MSCC SmartRAID 3152-8i控制器,按“Enter”进入如图所示界面
![](https://ask.qcloudimg.com/http-save/yehe-1389665/zb0qn1u2aj.png?imageView2/2/w/1620)
WeiyiGeek.
Step 3.设置RAID卡工作模式”Configure Controller Settings>Modify Controller Settings
“的顺序进入“Modify Controller Settings”界面, 选择“Port CN0 Mode”并按“Enter”, 最后再选择“Port CN0 Mode”并按“Enter”。
#3152-8iRAID卡支持三种工作模式,分别为:
RAID:控制器所有的RAID功能都被启用,但直通盘不会报送给OS。
Mixed:RAID逻辑盘和直通盘都会报送给OS。
HBA:控制器所有的RAID功能都被禁用,控制器下所有硬盘均被视为直通盘。
![](https://ask.qcloudimg.com/http-save/yehe-1389665/pok6vyd8kq.png?imageView2/2/w/1620)
WeiyiGeek.
Step 4.在MSCC SmartRAID 3152-8i控制器主界面中,进入“Array Configuration”界面 -> 选择Create Array 进入成员盘选择界面 -> 选中硬盘后,按“Enter”键,将硬盘加入Array。;
# 硬盘状态为“Enabled”时表示硬盘被选中。
# RAID 1支持的硬盘个数为2。
Step 5.选择“Proceed to next Form”并按“Enter”进入RAID级别选择界面 -> 选择要配置的Array级别“RAID1“ -> 最后选择“Submit Changes”并按“Enter” -> 提示创建成功按“Enter”返回主界面。
参数 |
说明 |
---|---|
Logical Drive Label |
LD的自定义标签。 |
Strip Size/Full Stripe Size |
Strip Size:单个物理盘的条带大小,可设置为16KiB/32KiB/64KiB/128KiB/256KiB/512KiB/1024KiB,默认值为256KiB。Full Stripe Size:整个LD的分条大小。当设定Strip Size后,系统会自动计算出Full Stripe Size。 |
Size |
整个LD的容量大小。 |
Unit size |
LD的容量计算单位。 |
SSD Over Provisioning optimization |
设置在创建由SSD组成的RAID组时,是否启用SSD Over Provisioning。 DisabledEnabled 说明: 只有当RAID组由SSD组成时,才能设置该属性。 |
Acceleration method |
设置LD所采用的加速方法。 SSD I/O Bypass(只有当LD由SSD组成时,该选项有效)Controller cache(同时使用读Cache和写Cache)None(禁用加速,表示既不使用SSD I/O Bypass,也不使用Controller Cache,即无任何加速。) |
Submit Changes |
确认修改。 |
![](https://ask.qcloudimg.com/http-save/yehe-1389665/dycsx37vqi.png?imageView2/2/w/1620)
WeiyiGeek.
Step 6.检查配置结果按照“Array Configuration > Manage Arrays
”的顺序进入刚才创建的Array A组中;
参数 |
说明 |
---|---|
Array Type |
Array的类型。 |
List Logical Drives |
逻辑盘相关的接口,可查看、修改逻辑盘的属性,删除逻辑盘等。 |
Create Logical Drive |
创建逻辑盘。 |
IO Bypass Settings |
设置SSD在不使用Controller Cache时的逻辑盘加速方法。 说明: 该特性即为读写高速缓存所述的“SSD I/O Bypass”。SSD组成的RAID组在使能Controller cache的情况下无法使能IO Bypass功能。如需使能IO Bypass,需要先禁用RAID组的Controller Cache,再使能IO Bypass。 |
Manage Spare Drives |
热备盘相关的接口,可创建,删除热备盘等。 |
Identify Device |
点亮/熄灭硬盘locate灯。 |
Delete Array |
删除Array。 |
然后选择“List Logical Drive”并按“Enter”查看LD的相关属性 -> 之后在选择“Logical Drive Details”并按“Enter”
![](https://ask.qcloudimg.com/http-save/yehe-1389665/ukqi8urase.png?imageView2/2/w/1620)
WeiyiGeek.List Logical Drive
Step 7.至此RAID 1 磁盘阵列完成设置;
注意事项:
- 1) 配置多个RAID组或包含多个VD的RAID组后,必须配置启动项,否则可能会导致操作系统安装异常
- 2) 安装好服务器系统可以采用ARCCONF工具进行即可执行RAID卡管理查看等相关命令;
3.系统安装
描述: Huawei服务器有两种安装方式:
- 直接安装方式: 方便简洁,但是由于没有镜像兼容性检测,可能导致系统安装后缺少驱动导致服务器或FC存储设备不能被识别;
- Smart Provisioning方式安装:它一个操作系统的安装引导工具,简化了工程师在本地安装操作系统和驱动的过程。此方式要求iBMC 2.64以上版本以及BIOS 0.37以上版本。具体支持的服务器请使用智能计算产品兼容性查询助手进行查询。您可以使用Smart Provisioning集成在主板的方式引导安装系统,也可以使用挂载Smart Provisioning镜像的方式引导安装系统。# 注意事项 使用Smart Provisioning安装操作系统时,需要格式化待安装操作系统的硬盘,请在安装操作系统前备份硬盘数据。 在Legacy模式下安装操作系统时,请使用容量在2TB以下的硬盘。
(1) 直挂载镜像方式安装流程: Step 1.利用网页或者KVM登录服务器iBMC平台进行管理(将连接的机器配置同一网段下的IP即可)
![](https://ask.qcloudimg.com/http-save/yehe-1389665/os2p94rmiv.png?imageView2/2/w/1620)
WeiyiGeek.
Step 2.将ISO镜像进行挂载连接,然后重启服务器后在功能选择界面选择F11
![](https://ask.qcloudimg.com/http-save/yehe-1389665/4f063b6ce4.png?imageView2/2/w/1620)
WeiyiGeek.
Step 3.输入缺省密码后选择启动项然后加载镜像并进行进行安装;
![](https://ask.qcloudimg.com/http-save/yehe-1389665/u8k4kjbswr.png?imageView2/2/w/1620)
WeiyiGeek.
(2)Smart Provisioning 方式安装流程: Step 1.同样是先通过KVM或者ibmc网页端把进行连接,然后重新服务器在功能选择界面选择F6进入SP BOOT
(此处需要输入密码),根据系统的配置此处可能等待时间较久;
![](https://ask.qcloudimg.com/http-save/yehe-1389665/fcsomlv361.png?imageView2/2/w/1620)
WeiyiGeek.SP BOOT
Step 2.进入 Smart Provisioning 之后,点击 Start 出现以下界面,然后再次点击安装操作系统
即可;
![](https://ask.qcloudimg.com/http-save/yehe-1389665/x4a1xlntvp.png?imageView2/2/w/1620)
WeiyiGeek.
Step 3.选择安装的镜像,此处我们进行自定义即可,然后选择安装系统的版本,此处建议安装的是7.6,由于Smart Provisioning 现在默认最高支持CentOS7.6, 但是经过测试发现安装 7.8 也没问题只是在最后的安装结束前会报错,但是机器重启后可以正常的进入到系统之中;
![](https://ask.qcloudimg.com/http-save/yehe-1389665/369m3q9hr6.png?imageView2/2/w/1620)
WeiyiGeek.CentOS7.6
Step 4.安装磁盘选择与确认操作
![](https://ask.qcloudimg.com/http-save/yehe-1389665/7yqsqy8c69.png?imageView2/2/w/1620)
WeiyiGeek.
Step 5.挂载镜像后点击进行下一步,此时系统会自动安装系统到磁盘并将硬件驱动也一并安装;
![](https://ask.qcloudimg.com/http-save/yehe-1389665/bhmdt957zf.png?imageView2/2/w/1620)
WeiyiGeek.
Step 6.系统安装完毕后将会重启服务器(不得不说华为的服务器启动真的是…此时略5-6分钟),加载安装的UEFI模式的操作系统
![](https://ask.qcloudimg.com/http-save/yehe-1389665/zei89lfybu.png?imageView2/2/w/1620)
WeiyiGeek.
Step 7.进入CentOS 7.6系统初始化安装配置界面(此处不再多说与描述)
![](https://ask.qcloudimg.com/http-save/yehe-1389665/f048l6u5tf.png?imageView2/2/w/1620)
WeiyiGeek.
Step 8.安装完成后进行系统,可以在root家目录中查看通过Smart Provisioning
安装后所留的硬件设备以及存储FC SAN的驱动等
![](https://ask.qcloudimg.com/http-save/yehe-1389665/957kjvxeq9.png?imageView2/2/w/1620)
WeiyiGeek.
0x03 华为服务器ESXI安装实践
描述: 请按照上述流程进入Smart Provisioning
界面之中,然后选择开始进行按照下面操作部署EXSI;
1.基础安装
- Step1.EXSI安装版本的选择此处最高可选择 ESXI 6.7 版本的镜像进行安装
![](https://ask.qcloudimg.com/http-save/yehe-1389665/k17p78i52q.png?imageView2/2/w/1620)
WeiyiGeek.1
- Step2.选择我们将要安装的磁盘,本来服务器中有两块盘由于做了Raid1所以空间只有大约600G,选择下面的磁盘进行安装
![](https://ask.qcloudimg.com/http-save/yehe-1389665/7yqsqy8c69.png?imageView2/2/w/1620)
WeiyiGeek.2
- Step3.挂载镜像后点击下一步进行ESXI系统的安装;
![](https://ask.qcloudimg.com/http-save/yehe-1389665/r84r28ax6y.png?imageView2/2/w/1620)
WeiyiGeek.3
- Step4.加载镜像到内存后将会自动重启服务器,进入到ESXI安装界面之中;
![](https://ask.qcloudimg.com/http-save/yehe-1389665/utm9hwijb7.png?imageView2/2/w/1620)
WeiyiGeek.4
2.后续配置
FW和驱动配套检查
描述:有些板卡的驱动和FW是存在配套关系,系统安装完以后,我们建议您进行驱动和FW的配套检查,方法如下: (1) 运行idriver驱动包中的install.sh脚本。
sh install.sh
(2) 选择“2: To check the current module information and driver version”。
执行以后,FW和驱动的检查结果如下图。其中: “CurrentDriverVer”:代表系统中当前使用的驱动版本 “NewDriverVersion”:代表系统推荐使用的驱动版本 “CurrentFirmwareVer”:代表当前的FW版本 “NewFirmwareVersion”:代表推荐使用的FW版本
(3) 执行以后,如果发现“CurrentFirmwareVer”不等于“NewFirmwareVersion”
,或者“CurrentDriverVer”
不等于“NewDriverVersion”需要对FW和驱动进行更新
系统优化配置
电源优化
描述:Power Management Policy设置为了在esxi系统下实现最佳的性能和稳定性。要实现Power Management Policy设置功能,您必须在华为服务器BIOS中将“Hardware P-States”
选项设置为“Native Mode”
。
配置流程:
主机 -> Manager(管理) -> Hardware(硬件) -> Power Management Policy -> Change policy -> 设置为 High performance
CPU 优化 描述:在系统下关闭C state,关闭CPU的C state可以获得更好的性能,在esxi系统下禁用C state的方法如下。 进入Manage界面,选择Power.CstateMaxLatency, 然后设置为0。
![](https://ask.qcloudimg.com/http-save/yehe-1389665/rs2uthi6ib.png?imageView2/2/w/1620)
WeiyiGeek.C state
描述:Monitor/Mwait和EVC兼容性建议您检查集群中服务器是否都是同一代CPU架构,如果集群中服务器都是同一代CPU架构,在这种情况下EVC特性是不起作用的,建议您关闭集群的EVC特性,对使用上没有任何影响。 如果您的集群中存在不同代CPU架构的服务器,并且要启用集群的EVC特性,您必须在华为服务器BIOS中将MONITOR/MWAIT特性设置为Enabled。
设置流程:BIOS untility -> MONITOR/MWAIT -> Enabled
;
0x04 F&Q
1.iBMC 管理地址设置
描述: 登录iBMC平台后选择 配置 -> 网络配置 -> IPV4进行设置(ip/子网/默认网关) ,配置完成后原管理地址立即失效,请访问新的管理地址;
![](https://ask.qcloudimg.com/http-save/yehe-1389665/546r6r3b83.png?imageView2/2/w/1620)
WeiyiGeek.iBMC 管理地址
2.服务器安装系统启动模式的选择
描述:启动模式的修改根据需要在“Boot”页签中选择“Boot Type”为“UEFI Boot”或“Legacy Boot”;
当服务器配置了较多的可启动设备时,在Legacy模式下可能出现部分设备无法正常启动,建议使用UEFI模式启动,UEFI模式较Legacy模式可以支持更多可启动设备
;如需要使用Legacy模式,建议根据实际业务场景禁用串口重定向或网卡PXE等,确保操作系统可以正常启动,具体操作请参考各平台BIOS参数参考的“设置网卡的PXE”和“设置串口重定向”章节。
注意事项:
# 1.两种模式下引导显示异同
- 在Legacy模式下:
当服务器配置了支持从Legacy启动的RAID卡或物理硬盘时,Hard Disk Drive列表显示具体的RAID卡或者物理硬盘信息,可以通过调整其顺序来调整启动设备。
- 在UEFI模式下:
当服务器硬盘未安装OS时,Hard Disk Drive列表下不存在启动项,此时OS安装过程中选择用来安装OS的硬盘即为启动盘。
当服务器硬盘已安装OS时,Hard Disk Drive列表将显示具体的OS版本,可以通过调整OS顺序来调整启动设备。
# 2.两种模式下切换注意
如果服务器已经在Legacy或者UEFI模式下安装OS,切换启动方式后将无法进入操作系统,需要切换为安装时的启动方式再进入,如操作系统需要重装,请根据实际情况选择是UEFI 或Legacy 模式安装OS。
# 3.两种模式下硬盘容量的关联
如果待安装的硬盘或RAID组容量大于2TB,需要将启动模式设置为UEFI Boot,新机器还是推荐使用该启动模式,除非额外的硬件不允许的条件下选择Legacy启动;
如果服务器安装了NVMe硬盘,并在该硬盘上安装OS,只能将启动模式设置为UEFI Boot。