磁盘格式化与性能测试
一、硬盘相关
1）查看硬盘的参数，执行cat /proc/scsi/scsi ，显示为ATA，则为SATA的硬盘。
2） 物理硬件设备命名规则
硬件设备在Linux中是以文件形式进行定义和管理，而文件需要命名规范，udev设备管理器在/dev/目录下为所有的设备定义了内核设备的名称，
它是当前Linux默认的设备管理工具，以守护进程的形式运行，通过侦听内核发出来的uevent 来管理/dev目录下的设备文件。
通过命名规范目的是让用户通过设备文件的名字即可猜出设备大致的属性以及分区信息等。
Linux系统中常见的硬件设备文件名称如下：
| 硬件设备 | 文件名称 |
|---|---|
| IDE设备 | /dev/hd[a-d] |
| SCSI/SATA/U 盘 | /dev/sd[a-p] |
| 软驱 | /dev/fd[0-1] |
| 打印机 | /dev/lp[0-15] |
| 光驱 | /dev/cdrom |
| 鼠标 | /dev/mouse |
| 磁带机 | /dev/st0 或/dev/ht0 |
常用的也就SCSI/SATA硬盘或光驱，当进行磁盘扩容等空间管理时会用到磁盘设备，当安装光盘镜像时会用到光驱设备。
硬盘设备一般以“/dev/sd”开头，而一台主机上可以有多块硬盘，因此系统采用 a～p 来代表 16 块不同的硬盘，默认从a开始分配。
分区编号也有一定规则：主分区或扩展分区的编号从 1- 4 ，而逻辑分区从5开始编号。
磁盘在进行测试之前，首先进行分区、格式化文件系统、挂载。
二、磁盘分区
1、执行fdisk -l查看分区的情况。
[root@localhost ~ ]# fdisk - l Disk / dev / sda: 16.1 GB, 16106127360 bytes 255 heads, 63 sectors / track, 1958 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Device Boot Start End Blocks Id System / dev / sda1 * 1 6 48163 + 83 Linux / dev / sda2 7 515 4088542 + 83 Linux / dev / sda3 516 1239 5815530 83 Linux / dev / sda4 1240 1305 530145 5 Extended / dev / sda5 1240 1305 530113 + 82 Linux swap / Solaris
假设/dev/sdb 显示还没有分区，则进行分区。
2、继续执行fdisk /dev/sda进行新建磁盘进行分区
[root@CENTOS100 sdb]# fdisk /dev/sdb The device presents a logical sector size that is smaller than the physical sector size. Aligning to a physical sector (or optimal I/O) size boundary is recommended, or performance may be impacted. Welcome to fdisk (util-linux 2.23.2). Changes will remain in memory only, until you decide to write them. Be careful before using the write command. Command (m for help): m Command action a toggle a bootable flag b edit bsd disklabel c toggle the dos compatibility flag d delete a partition g create a new empty GPT partition table G create an IRIX (SGI) partition table l list known partition types m print this menu n add a new partition o create a new empty DOS partition table p print the partition table q quit without saving changes s create a new empty Sun disklabel t change a partition's system id u change display/entry units v verify the partition table w write table to disk and exit x extra functionality (experts only)
Command (m for help): n Command action e extended p primary partition ( 1 - 4 ) e Selected partition 1 First cylinder ( 1240 - 1958 , default 1240 ): Using default value 1240 Last cylinder or + size or + sizeM or + sizeK ( 1240 - 1958 , default 1958 ): Using default value 1958 Command (m for help): m
Command (m for help): p #显示分区
Disk /dev/sdb: 2000.4 GB, 2000398934016 bytes, 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk label type: dos
Disk identifier: 0x15c3159d
Device Boot Start End Blocks Id System
/dev/sdb1 2048 3907029167 1953513560 83 Linux
Command (m for help): w #记得保存 The partition table has been altered !
3)No free sectors available错误
在继续分区的时候，出现No free sectors available错误，是因为磁盘已经进行了分区，用光了扇区，
需要将已经分好的分区删除（如果不需要重新分区，直接进行格式化）。
[root@CENTOS100 sdb]# fdisk /dev/sdb The device presents a logical sector size that is smaller than the physical sector size. Aligning to a physical sector (or optimal I/O) size boundary is recommended, or performance may be impacted. Welcome to fdisk (util-linux 2.23.2). Changes will remain in memory only, until you decide to write them. Be careful before using the write command. Command (m for help): m Command action a toggle a bootable flag b edit bsd disklabel c toggle the dos compatibility flag d delete a partition g create a new empty GPT partition table G create an IRIX (SGI) partition table l list known partition types m print this menu n add a new partition o create a new empty DOS partition table p print the partition table q quit without saving changes s create a new empty Sun disklabel t change a partition's system id u change display/entry units v verify the partition table w write table to disk and exit x extra functionality (experts only) Command (m for help): p Disk /dev/sdb: 2000.4 GB, 2000398934016 bytes, 3907029168 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disk label type: dos Disk identifier: 0x15c3159d Device Boot Start End Blocks Id System /dev/sdb1 2048 3907029167 1953513560 83 Linux Command (m for help):m Command (m for help):d #删除分区，执行一次d删除一个分区
三、磁盘格式化
格式化：指将分区格式化成不同的文件系统。那什么是文件系统呢？
文件系统：指操作系统用于明确存储设备或分区上的文件的方法和数据结构：即在存储设备上组织文件的方法。
就好比一个教室，同学们的坐的位置总是与桌子凳子排列的方式有关系。桌子，凳子怎么摆放，就导致了同学坐的位置在哪里。
文件系统存放数据也是这么个道理。
1、Linux系统下的文件类型：
Linux下的文件类型有ext2、ext3、ext4、xfs等等，我们可以使用命令：mkfs． 然后用按TAB、TAB来查看都有哪些文件类型。
2、磁盘的格式化：
在命令行输入mkfs.xfs /dev/sdb1
[root@heimatengyun ~]# mkfs.xfs /dev/sdb1 meta-data=/dev/sdb1 isize=256 agcount=4, agsize=131072 blks = sectsz=512 attr=2, projid32bit=1 = crc=0 data = bsize=4096 blocks=524288, imaxpct=25 = sunit=0 swidth=0 blks naming =version 2 bsize=4096 ascii-ci=0 ftype=0 log =internal log bsize=4096 blocks=2560, version=2 = sectsz=512 sunit=0 blks, lazy-count=1 realtime =none extsz=4096 blocks=0, rtextents=0
磁盘在格式化期间出现，ata bus error的错误，请重启机器重新格式化。
四、挂载磁盘
1、挂载磁盘使用之前讲解的mount命令，需要先创建一个挂载点目录。
[root@heimatengyun ~]# mkdir /newDisk [root@heimatengyun ~]# mount /dev/sdb1 /newDisk/ [root@heimatengyun ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/centos-root 18G 3.7G 14G 21% / devtmpfs 905M 0 905M 0% /dev tmpfs 914M 80K 914M 1% /dev/shm tmpfs 914M 8.9M 905M 1% /run tmpfs 914M 0 914M 0% /sys/fs/cgroup /dev/sda1 497M 119M 379M 24% /boot /dev/sdb1 2.0G 33M 2.0G 2% /newDisk
2、使用新加的磁盘设备
切换到新加设备所在的目录，添加文件并查看文件及其占用的大小：
[root@heimatengyun ~]# cd /newDisk/ [root@heimatengyun newDisk]# echo 'test'>test.txt [root@heimatengyun newDisk]# ll total 4 -rw-r--r--. 1 root root 5 Dec 28 18:57 test.txt [root@heimatengyun newDisk]# du -sh /newDisk/ 4.0K /newDisk/
可以看到文件创建成功。
3、使用df -h命令查看挂载状态和硬盘使用量：
[root@heimatengyun ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/centos-root 18G 3.7G 14G 21% / devtmpfs 905M 0 905M 0% /dev tmpfs 914M 80K 914M 1% /dev/shm tmpfs 914M 8.9M 905M 1% /run tmpfs 914M 0 914M 0% /sys/fs/cgroup /dev/sdb1 2.0G 33M 2.0G 2% /newDisk /dev/sda1 497M 119M 379M 24% /boot
可以看到磁盘挂载成功，至此，说明新挂载的文件没有任何问题，可以正常使用。
4、永久挂载
blkid：查看对应分区的UUID（编号）。UUID唯一标识每一个分区，防止错误的挂载。除此之外，还会显示分区的类型。
使用vim编辑 /etc/fstab 在命令行直接输入vim /etc/fstab 就可以编辑，实现开机自动挂载。
在将光标移到UUID行，在命令模式下按o键进入插入模式，同时换行。
将blkid步骤中复制好的sda5的UUID编号，粘贴进来。/test挂载点目录，ext3文件系统类型，第一个0表示不备份，第二个0表示不检查。
注意格式一定要正确，可以不用对齐，最好的判断依据是依照颜色。
写完之后保存退出。
五、linux查看磁盘性能
查看系统的磁盘io性能到底如何，这里使用iostat命令来分析。
Linux系统出现了性能问题，一般我们可以通过top、iostat、free、vmstat等命令来查看初步定位问题。
top整体查看状态，free查看mem和swap，vmstat整体查看，其中iostat可以给我们提供丰富的IO状态数据。
1、关键指标：
rrqm/s: 每秒进行 merge 的读操作数目。即 delta(rmerge)/s
wrqm/s: 每秒进行 merge 的写操作数目。即 delta(wmerge)/s
r/s: 每秒完成的读 I/O 设备次数。即 delta(rio)/s
w/s: 每秒完成的写 I/O 设备次数。即 delta(wio)/s
rsec/s: 每秒读扇区数。即 delta(rsect)/s
wsec/s: 每秒写扇区数。即 delta(wsect)/s
rkB/s: 每秒读K字节数。是 rsect/s 的一半，因为每扇区大小为512字节。(需要计算)
wkB/s: 每秒写K字节数。是 wsect/s 的一半。(需要计算)
avgrq-sz: 平均每次设备I/O操作的数据大小 (扇区)。delta(rsect+wsect)/delta(rio+wio)
avgqu-sz:平均I/O队列长度。即 delta(aveq)/s/1000 (因为aveq的单位为毫秒)。
await: 平均每次设备I/O操作的等待时间 (毫秒)。即 delta(ruse+wuse)/delta(rio+wio)
svctm: 平均每次设备I/O操作的服务时间 (毫秒)。即 delta(use)/delta(rio+wio)
%util: 一秒中有百分之多少的时间用于 I/O 操作，或者说一秒中有多少时间 I/O 队列是非空的。即 delta(use)/s/1000 (因为use的单位为毫秒)
如果 %util 接近 100%，说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘
可能存在瓶颈。
idle小于70% IO压力就较大了,一般读取速度有较多的wait.
同时可以结合vmstat 查看查看b参数()和wa参数()，查看是否存在io等待。
2、基本使用
$iostat -d -k 1 10
其中，参数 -d 表示，显示设备（磁盘）使用状态；-k某些使用block为单位的列强制使用Kilobytes为单位；
1 10表示，数据显示每隔1秒刷新一次，共显示10次。
tps：该设备每秒的传输次数（Indicate the number of transfers per second that were issued to the device.）。
“一次传输”意思是“一次I/O请求”。多个逻辑请求可能会被合并为“一次I/O请求”。“一次传输”请求的大小是未知的。
kB_read/s：每秒从设备（drive expressed）读取的数据量；kB_wrtn/s：每秒向设备（drive expressed）写入的数据量；
kB_read：读取的总数据量；kB_wrtn：写入的总数量数据量；这些单位都为Kilobytes。
上面的例子中，我们可以看到磁盘sda以及它的各个分区的统计数据，当时统计的磁盘总TPS是39.29，下面是各个分区的TPS。
（因为是瞬间值，所以总TPS并不严格等于各个分区TPS的总和）
3、-x 参数
使用-x参数我们可以获得更多统计信息。
rrqm/s：每秒这个设备相关的读取请求有多少被Merge了（当系统调用需要读取数据的时候，VFS将请求发到各个FS，
如果FS发现不同的读取请求读取的是相同Block的数据，FS会将这个请求合并Merge）；wrqm/s：每秒这个设备相关的写入请求有多少被Merge了。
rsec/s：每秒读取的扇区数；wsec/：每秒写入的扇区数。
r/s：The number of read requests that were issued to the device per second；
w/s：The number of write requests that were issued to the device per second；
await：每一个IO请求的处理的平均时间（单位是微秒毫秒）。这里可以理解为IO的响应时间，一般地系统IO响应时间应该低于5ms，如果大于10ms就比较大了。
%util：在统计时间内所有处理IO时间，除以总共统计时间。例如，如果统计间隔1秒，该设备有0.8秒在处理IO，而0.2秒闲置，
那么该设备的%util = 0.8/1 = 80%，所以该参数暗示了设备的繁忙程度。一般地，如果该参数是100%表示设备已经接近满负荷运行了
（当然如果是多磁盘，即使%util是100%，因为磁盘的并发能力，所以磁盘使用未必就到了瓶颈）。
4、常见用法
[root@CENTOS100 sdb]# iostat -dkx 1 10 Linux 3.10.0-693.el7.x86_64 (CENTOS100) 01/30/2017 _x86_64_ (8 CPU) Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util sda 0.04 0.05 0.12 3.41 3.20 379.10 216.63 1.49 423.53 14.68 437.31 3.22 1.14 sdb 0.00 0.11 0.01 0.97 0.22 474.93 972.79 0.48 492.19 2.05 496.24 3.66 0.36 dm-0 0.00 0.00 0.13 0.35 2.84 5.68 35.99 0.03 71.89 17.51 91.42 6.28 0.30 dm-1 0.00 0.00 0.00 0.00 0.06 0.00 45.59 0.00 8.76 8.76 0.00 5.68 0.00 dm-2 0.00 0.00 0.01 3.11 0.03 373.07 238.94 1.48 473.08 4.30 474.46 3.30 1.03 sdc 0.00 0.00 0.00 0.00 0.04 0.00 64.73 0.00 2.74 2.74 0.00 2.32 0.00
六、查看磁盘 IO 性能的其他方法
1.1 top 命令
top 命令通过查看 CPU 的 wa% 值来判断当前磁盘 IO 性能，如果这个数值过大，很可能是磁盘 IO 太高了，当然也可能是其他原因，例如网络 IO 过高等。
1.2 sar 命令
sar 命令是分析系统瓶颈的神器，可以用来查看 CPU 、内存、磁盘、网络等性能。
sar 命令查看当前磁盘性能的命令为：
[root@server-68.2.stage.polex.io var ]$ sar -d -p 1 2 Linux 3.10.0-693.5.2.el7.x86_64 (server-68) 03/11/2019 _x86_64_ (64 CPU) 02:28:54 PM DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util 02:28:55 PM sda 1.00 0.00 3.00 3.00 0.01 9.00 9.00 0.90 02:28:55 PM sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 02:28:55 PM polex_pv-rootvol 1.00 0.00 3.00 3.00 0.01 9.00 9.00 0.90 02:28:55 PM polex_pv-varvol 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 02:28:55 PM polex_pv-homevol 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 02:28:55 PM DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util 02:28:56 PM sda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 02:28:56 PM sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 02:28:56 PM polex_pv-rootvol 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 02:28:56 PM polex_pv-varvol 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 02:28:56 PM polex_pv-homevol 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 Average: DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util Average: sda 0.50 0.00 1.50 3.00 0.00 9.00 9.00 0.45 Average: sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 Average: polex_pv-rootvol 0.50 0.00 1.50 3.00 0.00 9.00 9.00 0.45 Average: polex_pv-varvol 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 Average: polex_pv-homevol 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
其中， “-d”参数代表查看磁盘性能，“-p”参数代表将 dev 设备按照 sda，sdb……名称显示，“1”代表每隔1s采取一次数值，“2”代表总共采取2次数值。
-
await：平均每次设备 I/O 操作的等待时间（以毫秒为单位）。
-
svctm：平均每次设备 I/O 操作的服务时间（以毫秒为单位）。
-
%util：一秒中有百分之几的时间用于 I/O 操作。
对于磁盘 IO 性能，一般有如下评判标准：
正常情况下 svctm 应该是小于 await 值的，而 svctm 的大小和磁盘性能有关，CPU 、内存的负荷也会对 svctm 值造成影响，过多的请求也会间接的导致 svctm 值的增加。
await 值的大小一般取决与 svctm 的值和 I/O 队列长度以 及I/O 请求模式，
如果 svctm 的值与 await 很接近，表示几乎没有 I/O 等待，磁盘性能很好，如果 await 的值远高于 svctm 的值，
则表示 I/O 队列等待太长，系统上运行的应用程序将变慢，此时可以通过更换更快的硬盘来解决问题。
%util 项的值也是衡量磁盘 I/O 的一个重要指标，如果 %util 接近 100% ，表示磁盘产生的 I/O 请求太多，
I/O 系统已经满负荷的在工作，该磁盘可能存在瓶颈。长期下去，势必影响系统的性能，可以通过优化程序或者通过更换更高、更快的磁盘来解决此问题。
1.3 vmstat 命令
[root@server-68.2.stage.polex.io var ]$ vmstat 2 procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 3 0 0 93221488 4176 69117136 0 0 0 1 0 0 4 1 94 0 0 2 0 0 93226048 4176 69117128 0 0 0 0 33326 36671 18 2 80 0 0 1 0 0 93218776 4176 69117104 0 0 0 9 26225 21588 18 2 80 0 0 1 0 0 93226072 4176 69117072 0 0 0 0 13271 25857 5 0 94 0 0 0 0 0 93223984 4176 69117040 0 0 0 5 34637 24444 20 2 78 0 0 11 0 0 93219248 4176 69117184 0 0 0 0 30736 20671 8 2 90 0 0
输出结果中，bi bo 可以表示磁盘当前性能：
-
bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是 1024 byte 。
-
bo 块设备每秒发送的块数量，例如我们读取文件，bo 就要大于0。bi 和 bo 一般都要接近 0，不然就是 IO 过于频繁，需要调整。
1.4 hdparm 命令
hdparm 命令提供了一个命令行的接口用于读取和设置IDE或SCSI硬盘参数，注意该命令只能测试磁盘的读取速率。
例如，测试 sda 磁盘的读取速率：
[root@server-68.2.stage.polex.io var ]$ hdparm -Tt /dev/polex_pv/varvol /dev/polex_pv/varvol: Timing cached reads: 15588 MB in 2.00 seconds = 7803.05 MB/sec Timing buffered disk reads: 1128 MB in 3.01 seconds = 374.90 MB/sec
从测试结果看出，带有缓存的读取速率为：7803.05MB/s ，磁盘的实际读取速率为：374.90 MB/s 。
1.5 dd 命令
Linux dd 命令用于读取、转换并输出数据。dd 可从标准输入或文件中读取数据，根据指定的格式来转换数据，再输出到文件、设备或标准输出。
我们可以利用 dd 命令的复制功能，测试某个磁盘的 IO 性能，须要注意的是 dd 命令只能大致测出磁盘的 IO 性能，不是非常准确。
测试写性能命令：
[root@server-68.2.stage.polex.io var ]$ time dd if=/dev/zero of=test.file bs=1G count=2 oflag=direct 2+0 records in 2+0 records out 2147483648 bytes (2.1 GB) copied, 13.5487 s, 159 MB/s real 0m13.556s user 0m0.000s sys 0m0.888s
可以看到，该分区磁盘写入速率为 159M/s，其中：
- /dev/zero 伪设备，会产生空字符流，对它不会产生 IO 。
- if 参数用来指定 dd 命令读取的文件。
- of 参数用来指定 dd 命令写入的文件。
- bs 参数代表每次写入的块的大小。
- count 参数用来指定写入的块的个数。
- offlag=direc 参数测试 IO 时必须指定，代表直接写如磁盘，不使用 cache 。
测试读性能命令：
[root@server-68.2.stage.polex.io var ]$ dd if=test.file of=/dev/null iflag=direct 4194304+0 records in 4194304+0 records out 2147483648 bytes (2.1 GB) copied, 4.87976 s, 440 MB/s
可以看到，该分区的读取速率为 440MB/s
1.6 fio 命令
fio 命令是专门测试 iops 的命令，比 dd 命令准确，fio 命令的参数很多，这里举几个例子供大家参考：
顺序读：
fio -filename=/var/test.file -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r
随机写：
fio -filename=/var/test.file -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_randw
顺序写：
fio -filename=/var/test.file -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_w
混合随机读写：
fio -filename=/var/test.file -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r_w -ioscheduler=noop
参考引用链接：
https://www.cnblogs.com/mauricewei/p/10502539.html
