存储管理--存储及文件系统

一、物理存储设备

在Linux系统中一切都是文件，硬件设备也不例外。

1、常见的硬件设备及其文件名称：

硬件设备	文件名称
IDE设备	/dev/hd[a-d]
SCSI/SATA/U盘	/dev/sd[a-p]
软驱	/dev/fd[0-1]
打印机	/dev/lp[0-15]
光驱	/dev/cdrom
鼠标	/dev/mouse
磁带机	/dev/st0或/dev/ht0

由于现在的IDE设备已经很少见了，所以一般的硬盘设备都会是以"/dev/sd"开头的。而一台主机上可以有多块硬盘，因此系统采用a～p来代表16块不同的硬盘（默认从a开始分配），而且硬盘的分区编号也很有讲究：

主分区或扩展分区的编号从1开始，到4结束；逻辑分区从编号5开始。

注：

1、/dev目录中sda设备之所以是a，并不是由插槽决定的，而是由系统内核的识别顺序来决定的；

2、分区的数字编码不一定是强制顺延下来的，也有可能是手工指定的。

2、举例解读磁盘分区含义

以/dev/sda5为例解读其含义：

首先，/dev/目录中保存的应当是硬件设备文件；

其次，sd表示是存储设备；

然后，a表示系统中同类接口中第一个被识别到的设备；

最后，5表示这个设备是一个逻辑分区。

一言以蔽之，"/dev/sda5"表示的就是"这是系统中第一块被识别到的硬件设备中分区编号为5的逻辑分区的设备文件"。

3、磁盘分区

硬盘设备是由大量的扇区组成的，每个扇区的容量为512字节。其中第一个扇区最重要，它里面保存着主引导记录与分区表信息。就第一个扇区来讲，主引导记录需要占用446字节，分区表为64字节，结束符占用2字节；其中分区表中每记录一个分区信息就需要16字节，这样一来最多只有4个分区信息可以写到第一个扇区中，这4个分区就是4个主分区。

第一个扇区：

为了解决分区个数不够的问题，可以将第一个扇区的分区表中16字节（原本要写入主分区信息）的空间（称之为扩展分区）拿出来指向另外一个分区。也就是说，扩展分区其实并不是一个真正的分区，而更像是一个占用16字节分区表空间的指针—一个指向另外一个分区的指针。这样一来，用户一般会选择使用3个主分区加1个扩展分区的方法，然后在扩展分区中创建出数个逻辑分区，从而来满足多分区（大于4个）的需求。

二、文件系统与数据存储

1、文件系统

用户在硬件存储设备中执行的文件建立、写入、读取、修改、转存与控制等操作都是依靠文件系统来完成的。文件系统的作用是合理规划硬盘，以保证用户正常的使用需求。Linux系统支持数十种的文件系统，而最常见的文件系统如下所示。

Ext3：是一款日志文件系统，能够在系统异常宕机时避免文件系统资料丢失，并能自动修复数据的不一致与错误。然而，当硬盘容量较大时，所需的修复时间也会很长，而且也不能百分之百地保证资料不会丢失。它会把整个磁盘的每个写入动作的细节都预先记录下来，以便在发生异常宕机后能回溯追踪到被中断的部分，然后尝试进行修复。

Ext4：Ext3的改进版本，作为RHEL 6系统中的默认文件管理系统，它支持的存储容量高达1EB（1EB=1,073,741,824GB），且能够有无限多的子目录。另外，Ext4文件系统能够批量分配block块，从而极大地提高了读写效率。

XFS：是一种高性能的日志文件系统，而且是RHEL 7中默认的文件管理系统，它的优势在发生意外宕机后尤其明显，即可以快速地恢复可能被破坏的文件，而且强大的日志功能只用花费极低的计算和存储性能。并且它最大可支持的存储容量为18EB，这几乎满足了所有需求。

2、文件系统的选择

 

读操作频繁，同时小文件众多的应用：

 

对于此类应用，选择ext4文件系统都是不错的选择。

 

由于ext3的目录结构是线型的，因此当一个目录下文件较多时，ext3的性能就下降比较多。而ext4的延迟分配、多块分配和盘区功能，使ext4非常适合大量小文件的操作，因此，从性能方面考虑，对于小规模文件密集型应用，ext4文件系统是首选。而如果从性能和安全性方面综合考虑的话，xfs文件系统是比较好的选择。大量实践证明，如果业务环境是对文件要进行大量的创建和删除操作的话，ext4是更高效的文件系统，接下来依次是xfs、ext3。例如网站应用，邮件系统等，都可使用ext4文件系统来达到最优性能。

 

写操作频繁的应用：

 

如果是一些大数据文件操作，同时，应用本身需要大量日志写操作，那么，xfs文件系统是最佳选择，根据实际应用经验，对xfs、ext4、ext3块写入性能对比，整体上性能差不多，但在效率上（CPU利用率）最好的是xfs，接下来依次是ext4和ext3。

 

对性能要求不高、数据安全要求不高的业务：

 

对于这类应用，ext3/ext2文件系统是比较好的选择，因为ext2没有日志记录功能，这样就节省了很多磁盘性能。例如linux系统下的/tmp分区就可以采用ext2文件系统。

 

 

3、数据存储

Linux只是把每个文件的权限与属性记录在inode中，而且每个文件占用一个独立的inode表格，该表格的大小默认为128字节，里面记录着如下信息：

该文件的访问权限（read、write、execute）；

该文件的所有者与所属组（owner、group）；

该文件的大小（size）；

该文件的创建或内容修改时间（ctime）；

该文件的最后一次访问时间（atime）；

该文件的修改时间（mtime）；

文件的特殊权限（SUID、SGID、SBIT）；

该文件的真实数据地址（point）。

而文件的实际内容则保存在block块中（大小可以是1KB、2KB或4KB），一个inode的默认大小仅为128B（Ext3），记录一个block则消耗4B。当文件的inode被写满后，Linux系统会自动分配出一个block块，专门用于像inode那样记录其他block块的信息，这样把各个block块的内容串到一起，就能够让用户读到完整的文件内容了。对于存储文件内容的block块，有下面两种常见情况（以4KB的block大小为例进行说明）。

情况1：文件很小（1KB），但依然会占用一个block，因此会潜在地浪费3KB。

情况2：文件很大（5KB），那么会占用两个block（5KB-4KB后剩下的1KB也要占用一个block）。

为了使用户在读取或写入文件时不用关心底层的硬盘结构，Linux内核中的软件层为用户程序提供了一个VFS（Virtual File System，虚拟文件系统）接口，这样用户实际上在操作文件时就是统一对这个虚拟文件系统进行操作了。

VFS的架构示意图