CentOS7 Raid卡问题导致磁盘IO暴增与处理

0、问题描述

IO因RAID卡问题，导致IO一直跑满：

RAID卡默认配置是：当RAID卡没电池，则不走RAID卡缓存。（华为服务器）

而我们的服务器都没有配置RAID电池，所以所有数据经过RAID卡后，无缓存，无数据合并，直接写入磁盘，由于写入的数据有大量的随机IO，导致磁盘IO被吃满。

 处理完RAID卡问题后，IO下降，监控IO的后面是跑业务，大量计算导致IO上升，为正常情况

一、MegaCli命令介绍

MegaCli是一款管理维护硬件RAID软件，可以用来查看raid信息等
MegaCli 的Media Error Count: 0 Other Error Count: 0 
Medai Error Count 表示磁盘可能错误，可能是磁盘有坏道，这个值不为0值得注意，数值越大，危险系数越高，
Other Error Count 表示磁盘可能存在松动，可能需要重新再插入。MegaCli 可以对阵列中所有的磁盘进行检测。

二、安装过程

1、系统环境

dmidecode -t1 | egrep "Manufacturer|Product Name"
cat /etc/redhat-release
查看厂商和产品型号，以及"Serial Number"

 

2、下载和安装

rpm -qa | egrep ‘Lib_Utils|MegaCli‘ //检查是否安装
https://raw.githubusercontent.com/crazy-zhangcong/tools/master/MegaCli8.07.10.tar.gz
ftp://download2.boulder.ibm.com/ecc/sar/CMA/XSA/ibm_utl_sraidmr_megacli-8.00.48_linux_32-64.zip
解压过后有linux目录

1 2 3 4 5 6 7 8

[root@localhost MegaCli8.07.10]# tree ├── Linux │   ├── Lib_Utils-1.00-09.noarch.rpm │   ├── MegaCli-8.02.21-1.noarch.rpm   [root@localhost Linux]# rpm -ivh Lib_Utils-1.00-09.noarch.rpm MegaCli-8.02.21-1.noarch.rpm [root@localhost Linux]# ln -sv /opt/MegaRAID/MegaCli/MegaCli64 /usr/bin/ "/usr/bin/MegaCli64" ->"/opt/MegaRAID/MegaCli/MegaCli64"

 

三、硬盘命令使用

1、常用查询命令

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -Lall -aALL 【查raid级别】 /opt/MegaRAID/MegaCli/MegaCli64 -AdpAllInfo -aALL 【查raid卡信息】 /opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL 查看【硬盘信息】 /opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -aAll 【查看电池信息】 /opt/MegaRAID/MegaCli/MegaCli64 -FwTermLog -Dsply -aALL 【查看raid卡日志】 /opt/MegaRAID/MegaCli/MegaCli64 -adpCount 【显示适配器个数】 /opt/MegaRAID/MegaCli/MegaCli64 -AdpGetTime –aALL 【显示适配器时间】 /opt/MegaRAID/MegaCli/MegaCli64 -AdpAllInfo -aAll 【显示所有适配器信息】 /opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -LALL -aAll 【显示所有逻辑磁盘组信息】 /opt/MegaRAID/MegaCli/MegaCli64 -PDList -aAll 【显示所有的物理信息】 /opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuStatus -aALL |grep ‘Charger Status’ 【查看充电状态】 /opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuStatus -aALL【显示BBU状态信息】 /opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuCapacityInfo -aALL【显示BBU容量信息】 /opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuDesignInfo -aALL 【显示BBU设计参数】 /opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuProperties -aALL 【显示当前BBU属性】 /opt/MegaRAID/MegaCli/MegaCli64 -cfgdsply -aALL 【显示Raid卡型号，Raid设置，Disk相关信息】

 

2、查看磁盘缓存策略

1 2 3 4 5

/opt/MegaRAID/MegaCli/MegaCli64 -LDGetProp -Cache -L0 -a0【显示0 RAID卡 0 RAID组的缓存策略 /opt/MegaRAID/MegaCli/MegaCli64 -LDGetProp -Cache -L1 -a0【显示1 RAID卡 0 RAID组的缓存策略】 /opt/MegaRAID/MegaCli/MegaCli64 -LDGetProp -Cache -LALL -a0【显示所有RAID卡 0 RAID组的缓存策略】 /opt/MegaRAID/MegaCli/MegaCli64 -LDGetProp -Cache -LALL –aALL【显示所有 RAID卡 所有 RAID组的缓存策略】 /opt/MegaRAID/MegaCli/MegaCli64 -LDGetProp -DskCache -LALL -aALL

 设置磁盘的缓存模式和访问方式 （Change Virtual Disk Cache and Access Parameters）

1 2 3 4 5 6 7 8 9 10 11 12 13

Description Allows you to change the following virtual disk parameters: -WT (Write through), WB (Write back): Selects write policy. -NORA (Noread ahead), RA (Read ahead), ADRA (Adaptiveread ahead): Selectsread policy. -Cached, -Direct: Selects cache policy. -RW, -RO, Blocked: Selects access policy. -EnDskCache: Enables disk cache. -DisDskCache: Disables disk cache. MegaCli -LDSetProp { WT | WB|NORA |RA | ADRA|-Cached|Direct} | {-RW|RO|Blocked} | {-Name[string]} | {-EnDskCache|DisDskCache} –Lx | -L0,1,2|-Lall -aN|-a0,1,2|-aALL MegaCli -LDSetProp WT -L0 -a0

 

3、设置磁盘缓存策略

显示磁盘缓存和访问方式（Display Virtual Disk Cache and Access Parameters）

1 2 3 4 5 6 7 8

MegaCli -LDGetProp -Cache | -Access | -Name | -DskCache -Lx|-L0,1,2| -Lall -aN|-a0,1,2|-aALL Displays the cache and access policies of the virtual disk(s): -WT (Write through), WB (Write back): Selects write policy. -NORA (Noread ahead), RA (Read ahead), ADRA (Adaptiveread ahead): Selectsread policy. -Cache, -Cached, Direct: Displays cache policy. -Access, -RW, -RO, Blocked: Displays access policy. -DskCache: Displays physical disk cache policy.

 缓存策略解释：

1 2 3 4 5 6 7

WT (Write through) WB (Write back) NORA (Noread ahead) RA (Read ahead) ADRA (Adaptiveread ahead) C (Cached) D (Direct)

 

例子：
/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp WT|WB|NORA|RA|ADRA -L0 -a0
/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp -Cached|-Direct -L0 -a0
enable / disable disk cache
/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp -EnDskCache|-DisDskCache -L0 -a0

4、创建阵列

创建一个raid5阵列，由物理盘2,3,4构成，该阵列的热备盘是物理盘5
/opt/MegaRAID/MegaCli/MegaCli64 -CfgLdAdd -r5 [1:2,1:3,1:4] WB Direct -Hsp[1:5] -a0
创建阵列，不指定热备
/opt/MegaRAID/MegaCli/MegaCli64 -CfgLdAdd -r5 [1:2,1:3,1:4] WB Direct -a0
创建一个raid10阵列，由物理盘2,3和4,5分别做raid1，在将两组raid1做raid0
/opt/MegaRAID/MegaCli/MegaCli64 –CfgSpanAdd –r10 –Array0[1:2,1:3] –Array1[1:4,1:5] WB Direct -a0

5、删除阵列

/opt/MegaRAID/MegaCli/MegaCli64 -CfgLdDel -L1 -a0

6、在线添加磁盘

/opt/MegaRAID/MegaCli/MegaCli64 -LDRecon -Start -r5 -Add -PhysDrv[1:4] -L1 -a0

7、阵列创建完后，会有一个初始化同步块的过程，可以看看其进度。

/opt/MegaRAID/MegaCli/MegaCli64 -LDInit -ShowProg -LALL -aALL
或者以动态可视化文字界面显示
/opt/MegaRAID/MegaCli/MegaCli64 -LDInit -ProgDsply -LALL -aALL

8、查看阵列后台初始化进度

/opt/MegaRAID/MegaCli/MegaCli64 -LDBI -ShowProg -LALL -aALL
或者以动态可视化文字界面显示
/opt/MegaRAID/MegaCli/MegaCli64 -LDBI -ProgDsply -LALL -aALL

9、指定第5块盘作为全局热备

/opt/MegaRAID/MegaCli/MegaCli64 -PDHSP -Set [-EnclAffinity] [-nonRevertible] -PhysDrv[1:5] -a0

10、指定为某个阵列的专用热备

/opt/MegaRAID/MegaCli/MegaCli64 -PDHSP -Set [-Dedicated [-Array1]] [-EnclAffinity] [-nonRevertible] -PhysDrv[1:5] -a0

11、删除全局热备

/opt/MegaRAID/MegaCli/MegaCli64 -PDHSP -Rmv -PhysDrv[1:5] -a0

12、将某块物理盘下线/上线

/opt/MegaRAID/MegaCli/MegaCli64 -PDOffline -PhysDrv [1:4] -a0
/opt/MegaRAID/MegaCli/MegaCli64 -PDOnline -PhysDrv [1:4] -a0

13、查看物理磁盘重建进度

/opt/MegaRAID/MegaCli/MegaCli64 -PDRbld -ShowProg -PhysDrv [1:5] -a0
或者以动态可视化文字界面显示
/opt/MegaRAID/MegaCli/MegaCli64 -PDRbld -ProgDsply -PhysDrv [1:5] -a0

14、磁盘状态的变化，从拔盘，到插盘过程中

Device |Normal|Damage|Rebuild|Normal
Virtual Drive |Optimal|Degraded|Degraded|Optimal
Physical Drive |Online|Failed –> Unconfigured|Rebuild|Online

四、其他命令说明

1、当前raid缓存状态，raid缓存状态设置为wb的话要注意电池放电事宜，设置电池放电模式为自动学习模式

/opt/MegaRAID/MegaCli/MegaCli64 -ldgetprop -dskcache -lall -aall

2、电池设置相关

查看电池状态信息(Display BBU Status Information)
MegaCli -AdpBbuCmd -GetBbuStatus -aN|-a0,1,2|-aALL
MegaCli -AdpBbuCmd -GetBbuStatus -aALL

查看电池容量（Display BBU Capacity Information）
MegaCli -AdpBbuCmd -GetBbuCapacityInfo -aN|-a0,1,2|-aALL
MegaCli -AdpBbuCmd -GetBbuCapacityInfo –aALL

查看电池设计参数(Display BBU Design Parameters)
MegaCli -AdpBbuCmd -GetBbuDesignInfo -aN|-a0,1,2|-aALL
MegaCli -AdpBbuCmd -GetBbuDesignInfo –aALL

查看电池属性（Display Current BBU Properties）
MegaCli -AdpBbuCmd -GetBbuProperties -aN|-a0,1,2|-aALL
MegaCli -AdpBbuCmd -GetBbuProperties –aALL

设置电池为学习模式为循环模式（Start BBU Learning Cycle）
Description Starts the learning cycle on the BBU.
No parameter is needed for this option.
MegaCli -AdpBbuCmd -BbuLearn -aN|-a0,1,2|-aALL

3、通过脚本检测RAID 磁盘状态

1 2 3

MEGACLI="/opt/MegaRAID/MegaCli/MegaCli64 " $MEGACLI -pdlist -aALL  |grep "Firmware state" |awk -F : ‘{print $2}‘ |awk -F , ‘{print $1}‘ $MEGACLI -pdlist -aALL  |grep -E"Media Error|Other Error" |awk -F : ‘{print $2}‘

 

转载自：centos 系统查看raid信息 - xuefy - 博客园 (cnblogs.com)