磁盘存储和文件系统
设备文件
I/O Ports: I/O设备地址
一切皆文件：open(), read(), write(), close()
设备类型：
块设备：block，存取单位“块”，磁盘
字符设备：char，存取单位“字符”，键盘
设备文件：关联至一个设备驱动程序，进而能够跟与之对应硬件设备进行通信
设备号码：
主设备号：major number, 标识设备类型
次设备号：minor number, 标识同一类型下的不同设备
机械硬盘和固态硬盘
机械硬盘（HDD）：Hard Disk Drive，即是传统普通硬盘，主要由：盘片，磁头，盘片转轴及控制电机，磁头控制器，数据转换器，接口，缓存等几个部分组成。机械硬盘中所有的盘片都装在一个旋转轴上，每张盘片之间是平行的，在每个盘片的存储面上有一个磁头，磁头与盘片之间的距离比头发丝的直径还小，所有的磁头联在一个磁头控制器上，由磁头控制器负责各个磁头的运动。磁头可沿盘片的半径方向运动，加上盘片每分钟几千转的高速旋转，磁头就可以定位在盘片的指定位置上进行数据的读写操作。数据通过磁头由电磁流来改变极性方式被电磁流写到磁盘上，也可以通过相反方式读取。硬盘为精密设备，进入硬盘的空气必须过滤
固态硬盘（SSD）：Solid State Drive，用固态电子存储芯片阵列而制成的硬盘，由控制单元和存储单元（FLASH芯片、DRAM芯片）组成。固态硬盘在接口的规范和定义、功能及使用方法上与普通硬盘的完全相同，在产品外形和尺寸上也与普通硬盘一致
相较于HDD，SSD在防震抗摔、传输速率、功耗、重量、噪音上有明显优势，SSD传输速率性能是HDD的2倍
相较于SSD，HDD在价格、容量占有绝对优势
设备文件
磁盘设备的设备文件命名：/dev/DEV_FILE
SCSI, SATA, SAS, IDE,USB: /dev/sd
虚拟磁盘：/dev/vd 、/dev/xvd
不同磁盘标识：a-z,aa,ab…
/dev/sda, /dev/sdb, ...
同一设备上的不同分区：1,2, ...
/dev/sda1, /dev/sda5
硬盘存储术语
head：磁头
track：磁道
cylinder：柱面
sector：扇区，512bytes
CHS和LBA
CHS
采用24bit位寻址
其中前10位表示cylinder，中间8位表示head，后面6位表示sector
最大寻址空间8GB
LBA（logical block addressing）
LBA是一个整数，通过转换成CHS格式完成磁盘具体寻址
ATA-1规范中定义了28位寻址模式，以每扇区512位组来计算，ATA-1所定义的28位LBA上限达到128 GiB。2002年ATA-6规范采用48位LBA，同样以每扇区512位组计算容量上限可达128 Petabytes
由于CHS寻址方式的寻址空间在大概8GB以内，所以在磁盘容量小于大概8GB时，可以使用CHS寻址方式或是LBA寻址方式；在磁盘容量大于大概8GB时，则只能使用LBA寻址方式
分区
两种分区方式：MBR，GPT
MBR: Master Boot Record，1982年，使用32位表示扇区数，分区不超过2T
如何分区：按柱面
0磁道0扇区：512bytes
446bytes: boot loader
64bytes：分区表，其中每16bytes标识一个分区
2bytes: 55AA
MBR分区中一块硬盘最多有4个主分区，也可以3主分区+1扩展(N个逻辑分区)
MBR分区结构
MBR分区结构
.硬盘主引导记录MBR由4个部分组成
.主引导程序（偏移地址0000H--0088H），它负责从活动分区中装载，并运行系统引导程序
.出错信息数据区，偏移地址0089H--00E1H为出错信息，00E2H--01BDH全为0字节
.分区表（DPT,Disk Partition Table）含4个分区项，偏移地址01BEH--01FDH,每个分区表项长16个字节，共64字节为分区项1、分区项2、分区项3、分区项4
.结束标志字，偏移地址01FE--01FF的2个字节值为结束标志55AA
MBR中DPT结构
GPT分区结构
管理分区
列出块设备
•lsblk
创建分区使用：
•fdisk 创建MBR分区
•gdisk 创建GPT分区
•parted 高级分区操作
重新设置内存中的内核分区表版本
•partprobe
分区工具gdisk fdisk
gdisk /dev/sdb 类fdisk 的GPT分区工具
fdisk -l [-u] [device...] 查看分区
fdisk /dev/sdb 管理分区
子命令：
p 分区列表
t 更改分区类型
n 创建新分区
d 删除分区
v 校验分区
u 转换单位
w 保存并退出
q 不保存并退出
同步分区表
查看内核是否已经识别新的分区
cat /proc/partations
centos6通知内核重新读取硬盘分区表
新增分区用
partx -a /dev/DEVICE
kpartx -a /dev/DEVICE -f: force
删除分区用
partx -d --nr M-N /dev/DEVICE
CentOS 5，7: 使用partprobe
-----------------------------------------------------------------------------------
文件系统
文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件结构称为文件管理系统，简称文件系统
从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取，安全控制，日志，压缩，加密等
文件系统类型
Linux文件系统：
ext2(Extended file system) :适用于那些分区容量不是太大，更新也不频繁的情况，例如 /boot 分区
ext3:是 ext2 的改进版本，其支持日志功能，能够帮助系统从非正常关机导致的异常中恢复。它通常被用作通用的文件系统
ext4:是 ext 文件系统的最新版。提供了很多新的特性，包括纳秒级时间戳、创建和使用巨型文件(16TB)、最大1EB的文件系统，以及速度的提升
xfs：SGI，支持最大8EB的文件系统
btrfs（Oracle）, reiserfs, jfs（AIX）, swap
光盘：iso9660
Windows：FAT32, exFAT,NTFS
Unix: FFS（fast）, UFS（unix）, JFS2
网络文件系统：NFS, CIFS
集群文件系统：GFS2, OCFS2（oracle）
分布式文件系统： fastdfs,ceph, moosefs, mogilefs, glusterfs, Lustre
RAW：未经处理或者未经格式化产生的文件系
文件系统分类
根据其是否支持"journal"功能：
日志型文件系统: ext3, ext4, xfs, ...
非日志型文件系统: ext2, vfat
文件系统的组成部分：
内核中的模块：ext4, xfs, vfat
用户空间的管理工具：mkfs.ext4, mkfs.xfs,mkfs.vfat
Linux的虚拟文件系统：VFS
查前支持的文件系统：cat /proc/filesystems
VFS
FS文件系统的基本结构是dentry结构体与inode结构体。
Dentry代表一个文件目录中的一个点，可以是目录也可以是文件。
Inode代表一个在磁盘上的文件，它与磁盘文件一一对应。
Inode与dentry不一定一一对应，一个inode可能会对应多个dentry项。（hard link）
Mount时，linux首先找到磁盘分区的super block，然后通过解析磁盘的inode table与file data，构建出自己的dentry列表与indoe列表。
需要注意的是，VFS实际上是按照Ext的方式进行构建的，所以两者非常相似
文件系统选择
创建文件系统
mkfs命令：
(1) mkfs.FS_TYPE /dev/DEVICE
ext4
xfs
btrfs
vfat
创建ext文件系统
mke2fs：ext系列文件系统专用管理工具
-t {ext2|ext3|ext4} 指定文件系统类型
-b {1024|2048|4096} 指定块大小
-L ‘LABEL’ 设置卷标
-j 相当于 -t ext3
mkfs.ext3 = mkfs -t ext3 = mke2fs -j = mke2fs -t ext3
-i # 为数据空间中每多少个字节创建一个inode；不应该小于block大小
-N # 指定分区中创建多少个inode
-I 一个inode记录占用的磁盘空间大小，128---4096
-m # 默认5%,为管理人员预留空间占总空间的百分比
-O FEATURE[,...] 启用指定特性
-O ^FEATURE 关闭指定特性
e2label：管理ext系列文件系统的LABEL
e2label DEVICE [LABEL]
tune2fs
tune2fs：重新设定ext系列文件系统可调整参数的值
-l 查看指定文件系统超级块信息；super block
-L 'LABEL’ 修改卷标
-m # 修预留给管理员的空间百分比
-j 将ext2升级为ext3
-O 文件系统属性启用或禁用, –O ^has_journal
-o 调整文件系统的默认挂载选项，–o ^acl
-U UUID 修改UUID号
dumpe2fs：
将磁盘块分组管理
-h：查看超级块信息，不显示分组信息
超级块和INODE TABLE
文件系统检测和修复
常发生于死机或者非正常关机之后
挂载为文件系统标记为“no clean”
注意：一定不要在挂载状态下修复
fsck: File System Check
fsck.FS_TYPE
fsck -t FS_TYPE
-p 自动修复错误
-r 交互式修复错误
FS_TYPE 一定要与分区上已经文件类型相同
e2fsck：ext系列文件专用的检测修复工具
-y 自动回答为yes
-f 强制修复
挂载mount
挂载:将额外文件系统与根文件系统某现存的目录建立起关联关系，进而使得此目录做为其它文件访问入口的行为
挂载点目录一般为空
mount常用命令选项
.-t vsftype 指定要挂载的设备上的文件系统类型
.-r readonly，只读挂载
.-w read and write, 读写挂载
.-n 不更新/etc/mtab，mount不可见
.-a 自动挂载所有支持自动挂载的设备(定义在了/etc/fstab文件中，且挂载选项中有auto功能)
.-L 'LABEL' 以卷标指定挂载设备
.-U 'UUID' 以UUID指定要挂载的设备
.-B, --bind 绑定目录到另一个目录上
查看内核追踪到的已挂载的所有设备
cat /proc/mounts
-o options：(挂载文件系统的选项)，多个选项使用逗号分隔
async 异步模式 sync 同步模式,内存更改时，同时写磁盘
atime/noatime 包含目录和文件
diratime/nodiratime 目录的访问时间戳
auto/noauto 是否支持自动挂载,是否支持-a选项
exec/noexec 是否支持将文件系统上运行应用程序
dev/nodev 是否支持在此文件系统上使用设备文件
suid/nosuid 是否支持suid和sgid权限
remount 重新挂载
ro 只读 rw 读写
user/nouser 是否允许普通用户挂载此设备，/etc/fstab使用
acl 启用此文件系统上的acl功能
loop 使用loop设备
defaults：相当于rw, suid, dev, exec, auto, nouser, async
卸载命令
查看挂载情况
findmnt MOUNT_POINT|device
查看正在访问指定文件系统的进程
lsof MOUNT_POINT
fuser -v MOUNT_POINT
终止所有在正访问指定的文件系统的进程
fuser -km MOUNT_POINT
卸载
umount DEVICE
挂载点和/etc/fstab
配置文件系统体系
被mount、fsck和其它程序使用
系统重启时保留文件系统体系
可以在设备栏使用文件系统卷标
使用mount -a 命令挂载/etc/fstab中的所有文件系统
文件挂载配置文件
./etc/fstab每行定义一个要挂载的文件系统
1、要挂载的设备或伪文件系统
设备文件
LABEL：LABEL=""
UUID：UUID=""
伪文件系统名称：proc, sysfs
2、挂载点
3、文件系统类型：ext4，xfs，iso9660，nfs，none
4、挂载选项：defaults ，acl，bind
5、转储频率：0：不做备份 1：每天转储 2：每隔一天转储
6、fsck检查的文件系统的顺序：允许的数字是0 1 2
0：不自检
1：首先自检；一般只有rootfs才用
2：非rootfs使用
挂载交换分区
基本设置包括：
•创建交换分区或者文件
•使用mkswap写入特殊签名
•在/etc/fstab文件中添加适当的条目
•使用swapon -a 激活交换空间
启用：swapon
swapon [OPTION]... [DEVICE]
-a：激活所有的交换分区
-p PRIORITY：指定优先级
/etc/fstab 在第4列中：pri=value
禁用：swapoff [OPTION]... [DEVICE]
SWAP的优先级
可以指定swap分区0到32767的优先级，值越大优先级越高
如果用户没有指定，那么核心会自动给swap指定一个优先级，这个优先级从-1开始，每加入一个新的没有用户指定优先级的swap，会给这个优先级减一
先添加的swap的缺省优先级比较高，除非用户自己指定一个优先级，而用户指定的优先级(是正数)永远高于核心缺省指定的优先级(是负数)
优化性能：分布存放，高性能磁盘存放
常见工具
文件系统空间占用等信息的查看工具
df [OPTION]... [FILE]...
-H 以10为单位
-T 文件系统类型
-h human-readable
-i inodes instead of blocks
-P 以Posix兼容的格式输出
查看某目录总体空间占用状态
du [OPTION]... DIR
-h human-readable
-s summary
--max-depth=# 指定最大目录层级
dd命令：convert and copy a file
用法：
dd if=/PATH/FROM/SRC of=/PATH/TO/DEST bs=# count=#
if=file 从所命名文件读取而不是从标准输入
of=file 写到所命名的文件而不是到标准输出
ibs=size 一次读size个byte
obs=size 一次写size个byte
bs=size block size, 指定块大小（既是是ibs也是obs)
cbs=size 一次转化size个byte
skip=blocks 从开头忽略blocks个ibs大小的块
seek=blocks 从开头忽略blocks个obs大小的块
count=n 复制n个bs
备份MBR
覆盖sda分区表
还原分区表
破坏MBR中的bootloader
复制到centos6里的data目录里
然后重启
选择1 进入之后 写一个临时ip地址 ifconfig ens33 ip地址
把在centos6上的文件再次拷贝回来
同步一下磁盘
最后重新启动
---------------------------------------------
什么是RAID
多个磁盘合成一个“阵列”来提供更好的性能、冗余，或者两者都提供
RAID
提高IO能力
磁盘并行读写
提高耐用性
磁盘冗余来实现
级别：多块磁盘组织在一起的工作方式有所不同
RAID实现的方式
外接式磁盘阵列：通过扩展卡提供适配能力
内接式RAID：主板集成RAID控制器，安装OS前在BIOS里配置
软件RAID：通过OS实现
RAID级别
RAID-0：条带卷，strip
RAID-1：镜像卷，mirror
RAID-2
..
RAID-5
RAID-6
RAID-10
RAID-01
RAID-0：
读、写性能提升
可用空间：N*min(S1,S2,...)
无容错能力
最少磁盘数：2, 2+
RAID-1：
读性能提升、写性能略有下降
可用空间：1*min(S1,S2,...)
有冗余能力
最少磁盘数：2, 2N
RAID-5：
读、写性能提升
可用空间：(N-1)*min(S1,S2,...)
有容错能力：允许最多1块磁盘损坏
最少磁盘数：3, 3+
RAID-6：
读、写性能提升
可用空间：(N-2)*min(S1,S2,...)
有容错能力：允许最多2块磁盘损坏
最少磁盘数：4, 4+
RAID-10：
读、写性能提升
可用空间：N*min(S1,S2,...)/2
有容错能力：每组镜像最多只能坏一块
最少磁盘数：4, 4+
JBOD：Just a Bunch Of Disks
功能：将多块磁盘的空间合并一个大的连续空间使用
可用空间：sum(S1,S2,...)
RAID7
可以理解为一个独立存储计算机，自身带有操作系统和管理工具，可以独立运行，理论上性能最高的RAID模式
常用级别：
RAID-0, RAID-1, RAID-5, RAID-10, RAID-50, JBOD
--------------------------------------------------------------------------
逻辑卷管理器（LVM）
允许对卷进行方便操作的抽象层，包括重新设定文件系统的大小
允许在多个物理设备间重新组织文件系统
•将设备指定为物理卷
•用一个或者多个物理卷来创建一个卷组
•物理卷是用固定大小的物理区域（Physical Extent，PE）来定义的
•在物理卷上创建的逻辑卷
是由物理区域（PE）组成
•可以在逻辑卷上创建文件系统
LVM更改文件系统的容量
LVM可以弹性的更改LVM的容量
通过交换PE来进行资料的转换，将原来LV内的PE转移到其他的设备中以降低LV的容量，或将其他设备中的PE加到LV中以加大容量
pv管理工具
显示pv信息
pvs：简要pv信息显示
pvdisplay
创建pv
pvcreate /dev/DEVICE
删除pv
pvremove /dev/DEVICE
vg管理工具
显示卷组
vgs
vgdisplay
创建卷组
vgcreate [-s #[kKmMgGtTpPeE]] VolumeGroupName PhysicalDevicePath [PhysicalDevicePath...]
管理卷组
vgextend VolumeGroupName PhysicalDevicePath [PhysicalDevicePath...]
vgreduce VolumeGroupName PhysicalDevicePath [PhysicalDevicePath...]
删除卷组
先做pvmove，再做vgremove
lv管理工具
显示逻辑卷
lvs
Lvdisplay
创建逻辑卷
lvcreate -L #[mMgGtT] -n NAME VolumeGroup
lvcreate -l 60%VG -n mylv testvg
lvcreate -l 100%FREE -n yourlv testvg
删除逻辑卷
lvremove /dev/VG_NAME/LV_NAME
重设文件系统大小
fsadm [options] resize device [new_size[BKMGTEP]]
resize2fs [-f] [-F] [-M] [-P] [-p] device [new_size]
xfs_growfs /mountpoint
逻辑卷管理器快照
快照是特殊的逻辑卷，它是在生成快照时存在的逻辑卷的准确拷贝
对于需要备份或者复制的现有数据临时拷贝以及其它操作来说，快照是最合适的选择
快照只有在它们和原来的逻辑卷不同时才会消耗空间
在生成快照时会分配给它一定的空间，但只有在原来的逻辑卷或者快照有所改变才会使用这些空间
当原来的逻辑卷中有所改变时，会将旧的数据复制到快照中
快照中只含有原来的逻辑卷中更改的数据或者自生成快照后的快照中更改的数据
建立快照的卷大小小于等于原始逻辑卷,也可以使用lvextend扩展快照
快照回复完成
