Exadata X2-2 更换 存储节点Flash卡电池(ESM)
Exadata X2-2中的F20 Flash卡含有电源存储模块ESM(Energy Storage Module ), 也就是我们常说的电池，当主机异常断电时，ESM给Flash模块提供备用电源。实际上它并不是常规意义上的电池，而是一个叫做超级电容(supercapacito)的东西。它和普通的电池相比，具有寿命更长，充放电率高，功率更高的优点。Sun Flash Accelerator F20 Energy Storage Module (ESM) Lifespan. [ID 1327000.1]文档提及早期的计算ESM的耗损率以两年为基准，现在基本都是以三年的寿命来计算的。
具体的ESM时间寿命可参考如下图表：
如果ESM的电量耗尽，则闪存的写模式自动从write-back切换到write-through模式，造成性能下降。当然Exadata Smart Flash Cache(ESFC)这个特性早期只能使用write-through的模式，所以通常不是什么大问题。
而X3之后的Exadata使用了F40 Flash卡，同时带有这些能量存储组件（ESM），但F40的ESM设计为可在 Sun Flash Accelerator F40 PCIe 卡的整个寿命期内使用，而不再需要定期更换。
1、更换前准备工作
注意：
更换ESM需要将该存储节点关机后操作，但我们可以选择不影响数据库正常运行的方式来关闭存储节点。
1.1 定位存储节点
登陆出故障的存储节点，使用命令打开定位指示灯，以便更容易地识别需要修复的存储服务器。具体方式如下：
登陆存储节点，在存储软件命令行模式下执行（方法一）:
CellCli>alter cell led on |
登陆该存储节点的ILOM，在ILOM命令行模式下执行（方法二）:
->set /SYS/LOCATE value=Fast_Blink Set 'value' to 'Fast_Blink |
登陆存储节点，在操作系统命令行模式下执行（方法三）:
# ipmitool sunoem cli 'set /SYS/LOCATE value=Fast_Blink' Connected. Use ^D to exit -> set /SYS/LOCATE value=Fast_Blink Set 'value' to 'Fast_Blink' -> Session closed Disconnected |
执行完以上命令，在机架前可以看到存储节点的指标灯在不停地闪烁。
1.2 不影响ASM的方式停止存储节点
(1). 检查所有磁盘组的disk_repair_time，登录到ASM实例并执行以下查询：
SQL> select dg.name, a.value from v$asm_diskgroup dg, v$asm_attribute a where dg.group_number=a.group_number and a.name='disk_repair_time'; |
(2). 修改所有磁盘组的disk_repair_time：
SQL> ALTER DISKGROUP DATA SET ATTRIBUTE 'DISK_REPAIR_TIME'='8.5H'; |
(3).检查ASM状态：
# cellcli -e list griddisk attributes name,asmmodestatus,asmdeactivationoutcome |
以上命令所有的griddisk返回应该为"Yes"。
(4).将所有的griddisk去激活：
# cellcli -e alter griddisk all inactive |
(5).再次检查ASM状态：
# cellcli -e list griddisk attributes name,asmmodestatus,asmdeactivationoutcome |
以上命令所有的griddisk返回应该：asmmodestatus列的值为'UNUSED' 或者 'OFFLINE' ，同时 asmdeactivationoutcome 列的值为Yes。
2、正式更换ESM
2.1 停止存储节点
当该存储节点的所有griddisk都offline和inactive之后，就可以完全地关掉存储节点了。
# shutdown -hP now |
2.2 更换ESM
按照6.1章节的方法，拆开存储节点主机之后，如下图所示:
RISER1有两个pci槽位（PCIE1和PCIE4） ，RISER2有两个pci槽位（PCIE2和PCIE5），都为F20 CARD ,每块F20CARD是由四个固态闪存模块(FDOM)组成的。
1、扭动螺丝1和螺丝2，将后板PCI横梁拆除，具体过程如下图所示：
2、然后扭动螺丝3,4分别拆除riser1和riser2，具体过程如下图所示：
拆下的F20 CARD ，如下图所示：
3、拆除ESM挡板，esm电池模块就挡板下面，拆掉esm模块，在左边有个4针的插头1，拔掉即可。
注意：
左边4针的插头连线在 F20 Flash卡的FMOD0的下面压住，所以在拔掉插头1连线之前 ，必须先拆卸FMOD0模块，有四个螺丝将FMOD0固定在卡上，具体如下图所示：
4、拆下ESM电池，具体如下图所示：
5、按照以上步骤的反射过程，将新的ESM模块安装上即可。
2.3 启动存储节点
重新组装好存储节点后，加电就可以登陆该存储节点的ILOM，并可以通过ILOM来启动存储节点操作系统。
-> start /SYS |
3、更换后检查工作
3.1 重置ESM计数器
(1).检查每一块flash卡的ESM故障状态和计数器
-> show /SYS/MB/RISER1/PCIE1/F20CARD fault_state -> show /SYS/MB/RISER1/PCIE1/F20CARD UPTIME -> show /SYS/MB/RISER1/PCIE4/F20CARD fault_state -> show /SYS/MB/RISER1/PCIE4/F20CARD UPTIME -> show /SYS/MB/RISER2/PCIE2/F20CARD fault_state -> show /SYS/MB/RISER2/PCIE2/F20CARD UPTIME -> show /SYS/MB/RISER2/PCIE5/F20CARD fault_state -> show /SYS/MB/RISER2/PCIE5/F20CARD UPTIME |
如果故障状态为'critical' 或者 'Faulted'，则可以清除故障状态。
(2).清除故障状态
-> set /SYS/MB/RISER1/PCIE1/F20CARD clear_fault_action=true -> set /SYS/MB/RISER1/PCIE4/F20CARD clear_fault_action=true -> set /SYS/MB/RISER2/PCIE2/F20CARD clear_fault_action=true -> set /SYS/MB/RISER2/PCIE5/F20CARD clear_fault_action=true |
清除故障状态的同时，会将计数器重置为0.
(3).再次检查每一块flash卡的ESM故障状态和计数器
-> show /SYS/MB/RISER1/PCIE1/F20CARD fault_state -> show /SYS/MB/RISER1/PCIE1/F20CARD UPTIME -> show /SYS/MB/RISER1/PCIE4/F20CARD fault_state -> show /SYS/MB/RISER1/PCIE4/F20CARD UPTIME -> show /SYS/MB/RISER2/PCIE2/F20CARD fault_state -> show /SYS/MB/RISER2/PCIE2/F20CARD UPTIME -> show /SYS/MB/RISER2/PCIE5/F20CARD fault_state -> show /SYS/MB/RISER2/PCIE5/F20CARD UPTIME |
ESM的计数器应该为0，如果不为0，可以 reset Ilom，这种方式可能会将ESM的计数器重置为0，如果重置ILOM也不能将ESM的计数器归零，则需要使用如下命令来将ESM的计数器置零：
-> start /SP/faultmgmt/shell Are you sure you want to start /SP/faultmgmt/shell (y/n)? y faultmgmtsp>
faultmgmtsp> etcd -i ereport.chassis.device.esm.eol.warning@/SYS/MB/RISER1/PCIE1/F20CARD
faultmgmtsp> exit
-> show /SYS/MB/RISER1/PCIE1/F20CARD fault_state
-> set /SYS/MB/RISER1/PCIE1/F20CARD clear_fault_action=true |
3.2 激活griddisk
重启完存储节点的操作系统后，存储软件会随之自动启动，RS、MS、CELLSRV服务会全部online状态，但是griddisk仍然是inactive状态，需要手动激活。
(1).将所有的griddisk激活：
# cellcli -e alter griddisk all active |
(2).检查所有的griddisk已经online：
CellCLI>list griddisk attributes name,status,asmmodestatus,asmdeactivationoutcome |
