NetApp数据恢复—NetApp数据恢复秘籍：让误删的文件重现！

NetApp数据恢复环境：
NetApp某型号存储阵列，包含2个机头+1个扩展柜，72块SAS接口的520字节硬盘组建了3组raid。

 

NetApp故障：
工作人员误操作删除11个lun。

NetApp数据恢复过程：
1、将NetApp存储阵列环境中所有硬盘做好标记后取出。硬件工程师对所有硬盘进行检测后没有发现有硬盘存在硬件故障，都可以正常读取。将所有硬盘以只读方式进行扇区级全盘镜像，镜像完成后将所有磁盘按照原样还原到原存储中，后续的数据分析和数据恢复操作都基于镜像文件进行，避免对原始磁盘数据造成二次破坏。
2、北亚企安数据恢复工程师团队对该NetApp存储进行分析后，制定了NetApp存储数据恢复方案：
a、分析盘序和LVM的组成方式。
b、扫描硬盘内的所有节点，主要是用户节点。
c、在节点扫描结果中找到文件大小符合需求的节点，找到索引根。
d、根据索引根内的第一级数据指针提取本文件的所有直接数据指针（参考节点中0x03位置的MAP深度：0x00时直接从节点内提取数据，0x01时需要提取一次MAP，0x02时需要提取两次MAP......）。完成指针提取后开始提取文件数据。
3、在盘头位置找到超级块。从超级块中获取到磁盘组名字、磁盘组的逻辑起始块号、总块数、磁盘组中raid的编号。
NetApp超级块：

 

4、每个数据块占8个扇区，数据块后附加64字节数据块描述信息。根据这些信息判断出校验盘。提取数据时需要剔除校验盘。
0x10处为FFFF表示校验块，校验块描述信息样例：

 

5、根据每块磁盘8号扇区的磁盘信息以及磁盘末尾的RAID盘序表确定盘序。确定各个磁盘所属aggr组，然后再判断组内盘序。数据指针跳转时不考虑校验盘，所以只需要获取到数据盘的盘序即可。
NetApp盘序表：

 

6、NetApp的节点分布在数量众多的数据块内，在数据块内又被统一组织为节点组。每个节点组的前64字节记录系统数据，使用192字节作为一项来记录各个文件节点。文件节点根据用户级别分为2类：“MBFP”系统文件节点、“MBFI”用户文件节点。通常恢复数据只需要MBFI节点组即可。
NetApp节点样例图：

 

7、获取目录项，根据其节点编号找到对应节点。

 

8、扫描节点信息。

 

节点扫描类：

 

节点扫描程序完整流程：

 

在循环扫描完毕之后会将所有扫描到的MBFP、MBFI和DOC数据块分别写入到三个文件内，用于后续处理。
9、将ScanNode扫描到的MBFI和MBFP、Dir存入数据库以备后续使用。
MBFI导入数据库整体流程：

 

函数执行完毕后可以查看数据库得到如下信息：
节点导入信息：

 

NetApp在更改inode节点时不会直接覆盖而是重新分配inode进行写入。单个文件的节点node_uid唯一不变，mbfi_usn会随着节点的变化而增大（正常情况下提取某个文件时使用usn最大的节点）。一般情况下存储划分出的单个节点会作为LUN映射到服务器使用。根据file_size可以确定这个文件的大小，按照文件大小分组后再选取usn最大值的节点，跳转到MBFI文件的offset值偏移位置，取出节点。
节点样例：

 

10、获取到要提取的文件的Node之后，开始提取块设备文件。
程序需要读取配置文件：

 

初始化完毕后，开始提取文件的各级MAP。本案例中文件大小均大于1T，MAP层级为4，所以需要提取4次。第一级MAP默认只占用1个块，所以在程序内直接提取；后三级MAP在GetAllMap函数内进行提取。通过块号计算数据块位置时，由于NetApp使用JBOD组织LVM，直接用块号除以每块磁盘上的块数可得到当前块所在的磁盘序号（计算机整数除法，丢弃小数部分）；再使用块号取余块数，得到数据块在此磁盘上的物理块号，物理块号乘以块大小，得到数据块偏移位置。
11、本案例中的块设备5T大小的lun使用的是aix小机的jfs2文件系统。可以通过解析jfs2文件系统来提取里面的数据库备份文件。
7扇区记录了lvm描述信息，获取pv大小和pv序号。类似找到vg描述区，获取lv数和pv数；找到pv描述区，解析pp序号和pp数。

 

LV类型及LV挂载信息区域：

 

12、解析8个1T大小的lun组成的oralce ASM文件系统，提取其中的数据库文件。
添加8个lT大小的lun：

 

解析asm文件系统，提取出数据库文件。

 

13、搭建小机环境，安装oracle数据库，检测数据库文件和备份文件。
14、检测数据库文件。使用提取出的数据库文件启动数据库，启动失败。经检测该数据库文件存在坏块，无法使用。
15、因为用户方设定的数据库备份机制，所以每个数据库存在多个备份。找到最新的数据库备份文件来还原数据库。经过尝试筛，选出最新的可用的数据库备份文件来还原数据库环境，然后由用户方验证。

数据验证及数据移交：
经过用户方多次反复的验证，发现数据库中少量数据缺失，但是在用户方接受范围之内。用户方认可数据恢复结果。