Megacli 简易使用
HP 服务器查询: hpacucli ctrl all show config hpacucli ctrl slot=1 show config detail 其他型号: MegaCli -LdPdInfo -aALL|more MegaCli -PDList -aAll| grep -Ei "(Enclosure Device|Slot Number|Raw Size|Firmware state|Foreign State|Foreign Secure)" # 查raid级别 $ megacli -LDInfo -Lall -aALL # 查raid卡信息 $ megacli -AdpAllInfo -aALL # 查看电池信息 $ megacli -AdpBbuCmd -aAll # 查看raid卡日志 $ megacli -FwTermLog -Dsply -aALL # 显示适配器个数 $ megacli -adpCount # 显示适配器时间 $ megacli -AdpGetTime –aALL # 显示所有适配器信息 $ megacli -AdpAllInfo -aAll # 显示所有逻辑磁盘组信息 $ megacli -LDInfo -LALL -aAll # 显示所有的物理信息 $ megacli -PDList -aAll # 查看充电状态 $ megacli -AdpBbuCmd -GetBbuStatus -aALL |grep 'Charger Status' # 显示BBU状态信息 $ megacli -AdpBbuCmd -GetBbuStatus -aALL # 显示BBU容量信息 $ megacli -AdpBbuCmd -GetBbuCapacityInfo -aALL # 显示BBU设计参数 $ megacli -AdpBbuCmd -GetBbuDesignInfo -aALL # 显示当前BBU属性 $ megacli -AdpBbuCmd -GetBbuProperties -aALL # 显示Raid卡型号,Raid设置,Disk相关信息 $ megacli -cfgdsply -aALL ## 磁带状态的变化,从拔盘,到插盘的过程中。 Device |Normal |Damage |Rebuild |Normal Virtual Drive |Optimal|Degraded|Degraded|Optimal Physical Drive |Online |Failed Unconfigured|Rebuild|Online # 查看物理磁盘状态: $ megacli -PDRbld -ShowProg -PhysDrv [Enclosure Device ID:Slot Number] -a0 ## Rebuild 中的物理磁盘状态中会显示:"Firmware state: Rebuild" # 查询 Rebuild 进度: $ megacli -pdrbld -showprog -physdrv[E:S] -aALL ## 返回内容类似于下面这样: Rebuild Progress on Device at Enclosure 32, Slot 5 Completed 77% in 101 Minutes. # 以文本进度条样式显示 Rebuild 进度: $ megacli -pdrbld -progdsply -physdrv[E:S] -aALL ## 屏幕显示类似下面的内容: Rebuild progress of physical drives... Enclosure:Slot Percent Complete Time Elps 032 :05 #######################87 %################******* 01:59:07 Press key to quit... # 查看 RAID 卡 Rebuild 参数: $ megacli -AdpAllinfo -aALL | grep -i rebuild ## 返回结果类似下面这样 Rebuild Rate : 30% Auto Rebuild : Enabled Rebuild Rate : YesForce Rebuild : Yes # 设置 RAID 卡 Rebuild 比例为60%: $ megacli -AdpSetProp { RebuildRate -60} -aALL ## 设置成功后返回: Adapter 0: Set rebuild rate to 60% success. 重要参数 参数名称 含义 Firmware state 磁盘状态 Firmware state: Online, Spun Up 磁盘正常 Firmware state: Unconfigured(good), Spun Up 磁盘已安装,但未启用 Firmware state: Unconfigured(bad) 故障, 对应hwcheck的 Non-Critical Firmware state: Failed 故障, 对应hwcheck的Critical Firmware state: Rebuild 重建,一般在更换磁盘时显示 Enclosure Device ID: 32 设备 Slot Number: 1 磁盘在服务器上的槽位 Adapter #0 适配器编号,对应 -a 参数 1,结合zabbix检测硬件磁盘是否有告警 root@dx-it-tw07:~/wuxiaoyu# MegaCli -pdlist -a0 |grep -i alert Drive has flagged a S.M.A.R.T alert : Yes Drive has flagged a S.M.A.R.T alert : Yes Drive has flagged a S.M.A.R.T alert : No Drive has flagged a S.M.A.R.T alert : Yes Drive has flagged a S.M.A.R.T alert : No Drive has flagged a S.M.A.R.T alert : No Drive has flagged a S.M.A.R.T alert : No 2,检测raid是否有降级 MegaCli -AdpAllInfo -aALL -NoLog | grep "Degraded" Degraded : 0 3,检测是否有坏盘 MegaCli -AdpAllInfo -aALL -NoLog | grep "Failed Disks" Failed Disks : 0 查看连接RAID卡的全部硬盘详细信息 MegaCli64 -PDList -aALL ----其中ALL意思是所有的控制器,此处也可以用0表示 MegaCli64 -PDList -aNN可以根据Adapter #0来确定 磁盘信息过滤 由于磁盘信息较多,所有可以根据自己的需要来过滤得到自己想要的信息 MegaCli64 -PDList -aAll| grep -Ei "(Enclosure Device|Slot Number|Raw Size|Firmware state)" ---粗过滤 grep是过滤的意思 -E参数是使用扩展正则表达式来过滤 -i参数是不区分大小写来过滤 Enclosure Device过滤出raid卡的ID;Slot Number过滤出磁盘的槽号;RawSize过滤出磁盘的大小;Firmware state过滤出磁盘的状态。 获取指定磁盘信息 MegaCli -pdInfo -PhysDrv[E0:S0,E1:S1,...] -aN|-a0,1,2|-aALL N表示raid卡编号,0表示第一块raid卡;ALL表示所有的raid卡 ;E和S代表Enclosure Device和Slot Number 磁盘上下线 MegaCli64 -PDOffline/PDOnline -PhysDrv [E:S] -a0 磁盘点灯 MegaCli64 -PDLocate -start -physdrv[58:17] -a0 hpacucli ctrl slot=2 pd 1I:1:0 modify led=on HP 机器点灯 MegaCli64 -PDLocate -stop -physdrv[58:17] -a0 RAID组基础配置 创建RAID组 MegaCli -CfgLdAdd -r(0|1|5) [E:S, E:S, ...] -aN N表示raid卡编号,0表示第一块raid卡;ALL表示所有的raid卡 ;E和S代表Enclosure Device和Slot Number 下面是一个创建raid5例子,属性为默认 固件状态会由Unconfigured变成Online 下面给出一个创建raid10的例子,并设置属性 删除RAID组 MegaCli64 -CfgLdDel -LX -a0 查看RAID组信息 MegaCli -LDInfo -Lall -aALL (创建的示例已经使用过了) MegaCli -LdPdInfo -aALL -----查看raid信息及raid组成磁盘信息。 RAID Level对应关系:RAID级别一般通过 Primary 字段值来判断 还需要结合Span Depth的值来判断值为1表示为 RAID-1,不为1表示 RAID-10; 还有一种情况:Primary-1, Secondary-3, RAID LevelQualifier-0 也是表示 RAID-10; RAIDLevel : Primary-0, Secondary-0, RAID Level Qualifier-0 对应RAID 0 RAIDLevel : Primary-1, Secondary-0, RAID Level Qualifier-0 对应RAID 1 RAIDLevel : Primary-5, Secondary-0, RAID Level Qualifier-3 对应RAID 5 RAIDLevel : Primary-1, Secondary-3, RAID Level Qualifier-0 对应RAID 10 修改RAID组属性 MegaCli -LDGetProp -Cache -L0 -a0 获取cache属性 WriteBack:写缓存策略 WriteThrough:直接写入磁盘,不适用RAID卡缓存。 ReadAheadNone:不开启预读 ReadAhead:开启预读,在读操作的时候,预先把后面顺序的数据载入raid卡缓存,在顺序读的环境中能提供很好的性能,但是在随机读的环境中反而降低读的性能(适合文件系统,不适合数据库系统) ReadAdaptive:自适应预读,在缓存和I/O空闲时选择预读,默认策略。 Direct:读操作不缓存到RAID卡缓存。 Cached:读操作缓存到RAID卡缓存。 如果BBU(电池)出现问题是否启用WriteCache No Write Cache if Bad BBU:如果BBU出现问题不使用WriteCache,从WriteBack自动切换到WriteThrough,默认配置。 Write Cache OK if Bad BBU: 如果BBU出现问题仍启用WriteCache,这种配置是非常不安全的,除非是有UPS或者双电源的情况下。 缓存策略解释: WT (WriteThrough) WB (WriteBack) NORA (ReadAheadNone) RA (ReadAhead) ADRA (ReadAdaptive) Cached Direct 修改属性 MegaCli64 -LDSetProp WT -L0 -a0 MegaCli64 -LDSetProp RA -L0 -a0 MegaCli64 -LDSetProp Cached -L0 -a0 清除RAID配置(慎用) MegaCli -CfgClr [-Force] -aN|-a0,1,2|-aALL RAID组扩展配置 1.扩容过程中无法新建RAID组 2.扩容过程中无法对其余RAID组扩容 下面示例一个RAID5扩容: MegaCli64 -LDRecon -Start -r5 -Add -PhysDrv[58:7, 58:11] -L0 -a0 查看扩容的进度(真的是超级慢) MegaCli64 -LDRecon -ShowProg -L0 -a0 显示扩容进度 MegaCli64 -LDRecon -progdsply -L0 -a0 动态显示扩容进度 好了,我终于等到1%了 RAID组热备配置 全局热备 MegaCli64 -PDHSP -set -PhysDrv[E:S] -a0 添加全局热备 MegaCli -PDHSP -rmv -PhysDrv[E:S] -a0 删除全局热备 添加全局热备后,状态如下: 此时下线成员盘,RAID组进入重构 MegaCli64 -PDRbld -ShowProg -PhysDrv[E:S] -aALL 查看磁盘重构进度 MegaCli64 -PDRbld -ProgDsply -PhysDrv[E:S] -aALL 动态显示重构进度 局部热备 在创建时添加局部热备 MegaCli64 -CfgLdAdd -r1 [58:7,58:11] -Hsp[58:17] -a0 查看RAID组信息: 然后再添加一块全局热备 准备工作完毕!现在下线成员盘,下线之后局部热备替换到成员组 RAID组状态也变为降级 rebuild的时间也很长,但此期间可以创建新的RAID组 等待ing~~~~~~~~~~ 此时另一块盘也可以下线,不过下线rebuild就凉凉了…… 第二种是创建成功之后,给特定RAID组添加热备盘 MegaCli64 -CfgLdAdd -r5 [58:7,58:11,58:17] -a0 MegaCli64 -CfgLdAdd -r1 [58:19,58:23] -a0 首先创建两个RAID组,然后把热备添加到第二个RAID组里(局部热备可以同时添加到多个RAID组) 局部热备里的Array计算比较麻烦,这里就要用到上面提到的DG,要按DG的排序累加,一直累加到要添加热备的VD(要添加热备的VD也要计算)。 1. 默认设Array为-1。 2. 如果是RAID0,1,5,6,则Array加1。 3. 如果是RAID10,50,则Array加2。 4. 如果是RAID0,1,5,6,则返回Array最后计算的值。 5. 如果是RAID10,50,则返回Array-1,Array。 MegaCli64 -PDHSP -set -Dedicated [-Array1] -PhysDrv[58:18] -a0 常见问题处理 1. (1)Firmwarestate:Unconfigured(good), Spun down解决方法: 重新热拔插指定硬盘,该状态会变成Firmware state:Unconfigured(good), Spun Up 创建raid后磁盘状态也会由Spun down变成SpunUp 解决办法: MegaCli -CfgLdAdd -r0 [48:5] WB Direct -a0 由Unconfigured(good), Spun Up 状态变为: Firmware state: Online, Spun Up (2)问题: 磁盘状态: Slot Number: 1 Raw Size: 1907729MB [0xe8e088b0 Sectors] Firmware state: Unconfigured(good) Foreign State: None 执行命令: ./MegaCli64 -CfgLdAdd -r0 [20:1] -a0 有以下报错: Adapter 0: Configure Adapter Failed FW error description: The current operation is not allowed because the controller has data in cache for offline or missing virtual disks. Exit Code: 0x54 解决: 看来要将该盘在raid卡中的缓存信息清除,先查看一下保留的缓存列表。 ./MegaCli64 -GetPreservedCacheList -a0 Adapter #0 Virtual Drive(Target ID 01): Missing. Exit Code: 0x00 开始清除(实为丢弃): ./MegaCli64 -DiscardPreservedCache -L1 -a0 现在开始创建这块单盘的raid0 ./MegaCli64 -CfgLdAdd -r0 [20:1] -a0 现在就可用了。 2. Firmware state: Unconfigured(bad)解决办法: MegaCli64 -PDMakeGood -PhysDrv[E:S] -a0 固件状态会由Unconfigured(bad)变成Unconfigured(good), Spun Up # MegaCli64 -PDMakeGood -PhysDrv[252:7] -a0 3. Firmware state: failed解决办法: 出现failed状态的硬盘大多已损坏,建议更换(或报修);但可以强制上线。 强制上线步骤如下: 可以先将磁盘下线。 # MegaCli -PDOffline-PhysDrv[E:S] -a0 然后再上线。 # MegaCli -PDOnline -PhysDrv[E:S] -a0 4. 以下状态的解决办法: Foreign State: Foreign Foreign Secure: Drive is notsecured by a foreign lock key MegaCli -LdPdInfo -aALL|more MegaCli -PDList -aAll| grep -Ei "(Enclosure Device|Slot Number|Raw Size|Firmware state|Foreign State|Foreign Secure)" MegaCli -pdlist -aall |grep 'Firmware state' MegaCli -pdInfo -PhysDrv[E0:S0,E1:S1,...] -aN|-a0,1,2|-aALL lsblk e2lable /dev/sdn1 #显示文件系统的 lable name e2lable /dev/sdn1 /data11 #修改/dev/sdb1的lable name 为 /data11 办法一:可以清除恢复状态(慎用) # MegaCli64 -CfgForeign -Clear -a0 慎用 办法二:导入配置,恢复虚拟磁盘组 # MegaCli -CfgForeign -import -a0 创建RAID组 (raid5 可以清除外来盘配置) MegaCli -CfgLdAdd -r(0|1|5) [E:S, E:S, ...] -aN 扫描外来配置的个数: # /opt/MegaRAID/MegaCli/MegaCli64 -cfgforeign -scan -a0 There are 1 foreign configuration(s) on controller 0. Exit Code: 0x00 清除外来配置: # /opt/MegaRAID/MegaCli/MegaCli64 -cfgforeign -clear -a0 Foreign configuration 0 is cleared on controller 0. Exit Code: 0x00 再次扫描外来配置的个数: # /opt/MegaRAID/MegaCli/MegaCli64 -cfgforeign -scan -a0 There is no foreign configuration on controller 0. Exit Code: 0x00 5. 如何定位设备/dev/sd*由哪些磁盘组成并点亮指定硬盘。 udevadm info -q path -n /dev/sda 可以看出设备/dev/sda是raid下的Virtual Drive: 0 然后确定Virtual Drive: 0是由哪些磁盘组成,并点亮磁盘 MegaCli -ldpdinfo -a0|grep -Ei "(Virtual Drive:|RAID Level|^Size|Enclosure Device|Slot Number|Predictive Failure Count|Firmware state)" 替换raid盘: MegaCli -PdGetMissing -a0 MegaCli -PdReplaceMissing -PhysDrv[32:0] -array1,row0 -a0 MegaCli -PDOnline -PhysDrv [32:0] -a0 MegaCli -PdGetMissing -a0 再次查看