X7-2存储节点操作系统盘上的变化
我们知道，在X7-2之前，存储节点的12块机械硬盘的前2块(LUN0和LUN1)中各划出33GB的分区来做RAID1,这个RAID1再划出小的分区来存放操作系统和存储软件等。
但从X7-2开始，这发生了一些变化，存储节点除了12块机械硬盘，还内置了2块SSD盘，这2块SSD盘会做成RAID1来存放操作系统和存储软件等。
如图是官方文档中存储节点所涉及的硬件：
可以看出有2块150GB的M2盘用来存放操作系统。
直接登陆操作系统，来查看相关信息：
[root@dm01celadm01 ~]# lsscsi -v [4:0:0:0] disk ATA INTEL SSDSCKJB15 0121 /dev/sda dir: /sys/bus/scsi/devices/4:0:0:0 [/sys/devices/pci0000:00/0000:00:17.0/ata5/host4/target4:0:0/4:0:0:0] [5:0:0:0] disk ATA INTEL SSDSCKJB15 0121 /dev/sdb dir: /sys/bus/scsi/devices/5:0:0:0 [/sys/devices/pci0000:00/0000:00:17.0/ata6/host5/target5:0:0/5:0:0:0] [8:2:0:0] disk AVAGO MR9361-16i 4.72 /dev/sdc dir: /sys/bus/scsi/devices/8:2:0:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:0/8:2:0:0] [8:2:1:0] disk AVAGO MR9361-16i 4.72 /dev/sdd dir: /sys/bus/scsi/devices/8:2:1:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:1/8:2:1:0] [8:2:2:0] disk AVAGO MR9361-16i 4.72 /dev/sde dir: /sys/bus/scsi/devices/8:2:2:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:2/8:2:2:0] [8:2:3:0] disk AVAGO MR9361-16i 4.72 /dev/sdf dir: /sys/bus/scsi/devices/8:2:3:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:3/8:2:3:0] [8:2:4:0] disk AVAGO MR9361-16i 4.72 /dev/sdg dir: /sys/bus/scsi/devices/8:2:4:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:4/8:2:4:0] [8:2:5:0] disk AVAGO MR9361-16i 4.72 /dev/sdh dir: /sys/bus/scsi/devices/8:2:5:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:5/8:2:5:0] [8:2:6:0] disk AVAGO MR9361-16i 4.72 /dev/sdi dir: /sys/bus/scsi/devices/8:2:6:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:6/8:2:6:0] [8:2:7:0] disk AVAGO MR9361-16i 4.72 /dev/sdj dir: /sys/bus/scsi/devices/8:2:7:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:7/8:2:7:0] [8:2:8:0] disk AVAGO MR9361-16i 4.72 /dev/sdk dir: /sys/bus/scsi/devices/8:2:8:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:8/8:2:8:0] [8:2:9:0] disk AVAGO MR9361-16i 4.72 /dev/sdl dir: /sys/bus/scsi/devices/8:2:9:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:9/8:2:9:0] [8:2:10:0] disk AVAGO MR9361-16i 4.72 /dev/sdm dir: /sys/bus/scsi/devices/8:2:10:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:10/8:2:10:0] [8:2:11:0] disk AVAGO MR9361-16i 4.72 /dev/sdn dir: /sys/bus/scsi/devices/8:2:11:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:11/8:2:11:0] [root@dm01celadm01 ~]# |
可以看出，/dev/sda和/dev/sdb就是这两块SSD盘，而后面的12块盘就是机械硬盘，通过MR9361-16i的RAID卡进行管理。
继续查看RAID1结构：
[root@dm01celadm01 ~]# mdadm -Q -D /dev/md24p7 /dev/md24p7: Container : /dev/md/imsm0, member 0 Raid Level : raid1 Array Size : 3145728 (3.00 GiB 3.22 GB) Used Dev Size : 104857600 (100.00 GiB 107.37 GB) Raid Devices : 2 Total Devices : 2
State : active Active Devices : 2 Working Devices : 2 Failed Devices : 0 Spare Devices : 0
UUID : f226a4b4:1a3028cf:44797b22:b6f39aa9 Number Major Minor RaidDevice State 1 8 16 0 active sync /dev/sdb 0 8 0 1 active sync /dev/sda [root@dm01celadm01 ~]# [root@dm01celadm01 ~]# fdisk -l /dev/sda
WARNING: GPT (GUID Partition Table) detected on '/dev/sda'! The util fdisk doesn't support GPT. Use GNU Parted.
Disk /dev/sda: 150.0 GB, 150039945216 bytes 255 heads, 63 sectors/track, 18241 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disk identifier: 0x00000000
Device Boot Start End Blocks Id System /dev/sda1 1 13055 104857599+ ee GPT Partition 1 does not start on physical sector boundary. [root@dm01celadm01 ~]# |
可以看出，该RAID1的确是由/dev/sda和/dev/sdb两整块磁盘组成，但我们同样可以看出，这个RAID1的大小只有104857600 (100.00 GiB 107.37 GB)，为什么150GB的SSD盘，却只使用100GB？剩余的空间预留下来干什么用呢？目前还没有想明白这个事情，只能等以后深入研究后，才可能有答案了。
由于操作系统区域不需要从LUN0和LUN1上划分空间，所以ASM磁盘组上也发生了很多变化，具体变化先简单记录一下吧：
