存储系列1-openfiler开源存储管理平台实践
(一)openfiler介绍
Openfiler能把标准x86/64架构的系统变为一个更强大的NAS、SAN存储和IP存储网关，为管理员提供一个强大的管理平台，并能应付未来的存储需求。openfiler可以安装在x86/64架构的工业标准服务器上，否定了昂贵的专有存储系统的需求。只需10分钟即可把系统部署到戴尔、惠普、IBM等标准配置服务器上，服务器就变为一个功能强大的存储网络了。
此外，与其它存储方案不同的是，openfiler的管理是通过一个强大的、直观的基于web的图形用户界面。通过这个界面，管理员可以执行诸如创建卷、网络共享磁盘分配和管理RAID等工作。
(1.1)丰富的协议支持
openfiler支持多种文件界别和块级别的数据存储输出协议，几乎 涵盖现有全部的网络存储服务.
块级别的协议：
- iSCSI
- 光纤通道(FC)
文件级别的协议：
- NFS
- CIFS
- HTTP/DAV
- FTP
- rsync
(1.2)强大的管理功能
现在的存储解决方案都存在管理能力不足的缺点，openfiler提供了直观且易操作的基于web的图形操作界面(GUI)，openfiler中所有网络功能和存储方面的设置均通过这个管理界面来完成。管理界面分为网络、物理卷、用户和组的认证/授权、系统配置和状态信息等。
(二)openfiler安装
安装文档见：http://www.openfiler.org.cn/index.php/document/6-openfiler-install 。
(三)openfiler配置
安装安装之后，登入openfiler服务器，会提示Web网页的管理地址，直接访问Web网页即可。网页的默认初始账号密码为：openfiler/password。
（3.1）openfiler添加存储磁盘
STEP1:在openfiler服务器中添加一块磁盘，用作共享磁盘
STEP2:在openfiler的Web管理界面可以看到新添加的磁盘
STEP3:点击磁盘名，将磁盘创建为物理卷或者软RAID磁盘阵列(RAID需要多块磁盘)，这里创建为物理卷
STEP4:使用物理卷创建卷组(Volume Group)
STEP5:使用卷组创建逻辑卷
（3.2）网络访问配置
由于iscsi和文件系统(xfs，ext3等)都是走网络协议，其它机器想要访问openfiler上的存储，还需要开通网络访问权限。
STEP1:打开Web的system页面；
STEP2:在Network Access Configuration部分添加可以访问openfiler的网段，类型设置为share
(四)使用openfiler对外提供存储
（4.1）使用openfiler对外提供块存储(类似SAN存储)
使用openfiler对外提供块存储，可以使用iSCSI协议，也可以使用Fibre Channel协议，这里使用基于IP的iSCSI协议。
STEP1:首先打开openfiler服务器的iSCSI Target服务
STEP2:创建基于块的lv，创建方法见上面：openfiler添加存储磁盘。需要注意最后选择块类型
STEP3:添加iSCSI Target
选择添加Target IQN，target IQN是存储客户端访问存储的连接信息
STEP4:选择对应的lv，打开LUN Mapping
STEP5:打开Network ACL
以上操作均在openfiler的WEB界面完成，接下来在客户机上配置iSCSI。
STEP6:客户端机器上安装iscsi initiator
yum install -y iscsi-initiator-utils*
查看安装
[root@mysql8 ~]# rpm -qa|grep iscsi iscsi-initiator-utils-iscsiuio-6.2.0.874-17.el7.x86_64 iscsi-initiator-utils-6.2.0.874-17.el7.x86_64 iscsi-initiator-utils-devel-6.2.0.874-17.el7.x86_64
STEP7:iscsi initiator通过iscsiadm来管理，我们查看提供服务的iscsi target机器上有哪些target，因为iscsi上有2块网卡，所以存在2个路径：
[root@mysql8 ~]# iscsiadm --mode discovery --type sendtargets --portal 192.168.10.100 192.168.10.100:3260,1 iqn.2006-01.com.openfiler:tsn.44b5a4673d71 192.168.20.100:3260,1 iqn.2006-01.com.openfiler:tsn.44b5a4673d71
STEP8:使用iscsiadm登录到iscsi-target，登陆成功后，iscsi-target下面的磁盘也就共享过来了(有时需要重启iscsi initiator机器)。
[root@mysql8 ~]# iscsiadm --mode node --targetname iqn.2006-01.com.openfiler:tsn.44b5a4673d71 –portal 192.168.10.100:3260 --login
我们在存储端只设置了4块磁盘，但是在客户端缺出现了8块磁盘，这是因为openfiler有2块网卡，使用2个IP登录iSCSI-Target，所以产生了重复信息。要查看各个IP访问到的存储信息，可以使用如下命令：
1 [root@testserver ~]# iscsiadm -m session -P 3 2 iSCSI Transport Class version 2.0-870 3 version 6.2.0.874-17 4 Target: iqn.2006-01.com.openfiler:tsn.44b5a4673d71 (non-flash) 5 Current Portal: 192.168.10.100:3260,1 6 Persistent Portal: 192.168.10.100:3260,1 7 ********** 8 Interface: 9 ********** 10 Iface Name: default 11 Iface Transport: tcp 12 Iface Initiatorname: iqn.1994-05.com.redhat:6e1c3397973 13 Iface IPaddress: 192.168.10.10 14 Iface HWaddress: <empty> 15 Iface Netdev: <empty> 16 SID: 1 17 iSCSI Connection State: LOGGED IN 18 iSCSI Session State: LOGGED_IN 19 Internal iscsid Session State: NO CHANGE 20 ********* 21 Timeouts: 22 ********* 23 Recovery Timeout: 120 24 Target Reset Timeout: 30 25 LUN Reset Timeout: 30 26 Abort Timeout: 15 27 ***** 28 CHAP: 29 ***** 30 username: <empty> 31 password: ******** 32 username_in: <empty> 33 password_in: ******** 34 ************************ 35 Negotiated iSCSI params: 36 ************************ 37 HeaderDigest: None 38 DataDigest: None 39 MaxRecvDataSegmentLength: 262144 40 MaxXmitDataSegmentLength: 131072 41 FirstBurstLength: 262144 42 MaxBurstLength: 262144 43 ImmediateData: No 44 InitialR2T: Yes 45 MaxOutstandingR2T: 1 46 ************************ 47 Attached SCSI devices: 48 ************************ 49 Host Number: 3 State: running 50 scsi3 Channel 00 Id 0 Lun: 0 51 Attached scsi disk sdc State: running 52 scsi3 Channel 00 Id 0 Lun: 1 53 Attached scsi disk sde State: running 54 scsi3 Channel 00 Id 0 Lun: 2 55 Attached scsi disk sdg State: running 56 scsi3 Channel 00 Id 0 Lun: 3 57 Attached scsi disk sdh State: running 58 59 =========================================手动分割线========================================== 60 61 Current Portal: 192.168.20.100:3260,1 62 Persistent Portal: 192.168.20.100:3260,1 63 ********** 64 Interface: 65 ********** 66 Iface Name: default 67 Iface Transport: tcp 68 Iface Initiatorname: iqn.1994-05.com.redhat:6e1c3397973 69 Iface IPaddress: 192.168.20.20 70 Iface HWaddress: <empty> 71 Iface Netdev: <empty> 72 SID: 2 73 iSCSI Connection State: LOGGED IN 74 iSCSI Session State: LOGGED_IN 75 Internal iscsid Session State: NO CHANGE 76 ********* 77 Timeouts: 78 ********* 79 Recovery Timeout: 120 80 Target Reset Timeout: 30 81 LUN Reset Timeout: 30 82 Abort Timeout: 15 83 ***** 84 CHAP: 85 ***** 86 username: <empty> 87 password: ******** 88 username_in: <empty> 89 password_in: ******** 90 ************************ 91 Negotiated iSCSI params: 92 ************************ 93 HeaderDigest: None 94 DataDigest: None 95 MaxRecvDataSegmentLength: 262144 96 MaxXmitDataSegmentLength: 131072 97 FirstBurstLength: 262144 98 MaxBurstLength: 262144 99 ImmediateData: No 100 InitialR2T: Yes 101 MaxOutstandingR2T: 1 102 ************************ 103 Attached SCSI devices: 104 ************************ 105 Host Number: 4 State: running 106 scsi4 Channel 00 Id 0 Lun: 0 107 Attached scsi disk sdb State: running 108 scsi4 Channel 00 Id 0 Lun: 1 109 Attached scsi disk sdd State: running 110 scsi4 Channel 00 Id 0 Lun: 2 111 Attached scsi disk sdf State: running 112 scsi4 Channel 00 Id 0 Lun: 3 113 Attached scsi disk sdi State: running
STEP9:为了不去重复识别磁盘，需要在iSCSI initiator服务器上安装多路径软件
# 安装多路径软件 yum install -y device-mapper* # 将多路径软件添加至内核模块中 modprobe dm-multipath modprobe dm-round-robin # 检查内核添加情况 [root@mysql8 ~]# lsmod |grep multipath dm_multipath 27427 6 dm_round_robin,dm_service_time dm_mod 123303 23 dm_round_robin,dm_multipath,dm_log,dm_mirror,dm_service_time # 设置开机自启动 systemctl enable multipathd.service # 检查开机自启动 [root@mysql8 ~]# systemctl list-unit-files|grep multipath multipathd.service enabled
启动多路径软件multipathd
# 创建多路径参数配置文件 /sbin/mpathconf --enable # 启动多路径软件multipathd systemctl start multipathd.service
查看多路径磁盘，一共有四个磁盘，名字分别为mpatha、mpathb、mpathc、mpathd
[root@testserver ~]# multipath -ll mpathd (14f504e46494c45527539434a6e4e2d497862592d786f7845) dm-6 OPNFILER,VIRTUAL-DISK size=15G features='0' hwhandler='0' wp=rw |-+- policy='service-time 0' prio=1 status=active | `- 3:0:0:3 sdh 8:112 active ready running `-+- policy='service-time 0' prio=1 status=enabled `- 4:0:0:3 sdi 8:128 active ready running mpathc (14f504e46494c4552756250474a432d776575552d4f6d6f43) dm-5 OPNFILER,VIRTUAL-DISK size=10G features='0' hwhandler='0' wp=rw |-+- policy='service-time 0' prio=1 status=active | `- 3:0:0:2 sdg 8:96 active ready running `-+- policy='service-time 0' prio=1 status=enabled `- 4:0:0:2 sdf 8:80 active ready running mpathb (14f504e46494c45527341486541542d50624e502d4b357963) dm-4 OPNFILER,VIRTUAL-DISK size=10G features='0' hwhandler='0' wp=rw |-+- policy='service-time 0' prio=1 status=active | `- 3:0:0:1 sde 8:64 active ready running `-+- policy='service-time 0' prio=1 status=enabled `- 4:0:0:1 sdd 8:48 active ready running mpatha (14f504e46494c4552355359507a782d674f55302d32446331) dm-3 OPNFILER,VIRTUAL-DISK size=10G features='0' hwhandler='0' wp=rw |-+- policy='service-time 0' prio=1 status=active | `- 3:0:0:0 sdc 8:32 active ready running `-+- policy='service-time 0' prio=1 status=enabled `- 4:0:0:0 sdb 8:16 active ready running
到这里，我们就可以使用从openfiler挂载过来的磁盘了。
NOTE:
iSCSI（Internet Small Computer System Interface）。iSCSI技术由IBM公司研究开发，是一个供硬件设备使用的、可以在IP协议的上层运行的SCSI指令集，这种指令集合可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。iSCSI技术是一种新储存技术，该技术是将现有SCSI接口与以太网络(Ethernet)技术结合，使服务器可与使用IP网络的储存装置互相交换资料。iSCSI是一种基于 TCP/IP 的协议，用来建立和管理 IP存储设备、主机和客户机等之间的相互连接，并创建存储区域网络（SAN）。
- iSCSI target：就是储存设备端，存放磁盘或RAID的设备，目前也能够将Linux主机模拟成iSCSI target了！目的在提供其他主机使用的『磁盘』；
- iSCSI initiator：就是能够使用target的用户端，通常是服务器。也就是说，想要连接到iSCSI target的服务器，也必须要安装iSCSI initiator的相关功能后才能够使用iSCSI target提供的磁盘。
关于磁盘多路径，本文并没有深入介绍如何配置。如果想要了解，可以查看redhat官方文档(中文的哦！ )：https://access.redhat.com/documentation/zh-cn/red_hat_enterprise_linux/7/html/dm_multipath/index 。
（4.2）使用openfiler对外提供文件系统存储(NAS存储)
首先我们需要了解一下什么是网络附加存储(NAS)，这一段摘自redhat官方文档：
网络附加存储 (NAS) 是一个文件级存储架构，使用一个或多个配备专用磁盘的服务器来存储数据，并与连接网络的大量客户端共享这些数据。
NAS 设备会将数据当作文件。虽然从技术层面来看它们都能完成一般的服务器任务，但是 NAS 设备运行的软件可以保护数据并处理各种权限。所以，NAS 设备不需要功能完善的操作系统。大多数 NAS 都包含针对数据存储和数据显示进行过精调的嵌入式轻量级操作系统。为了显示这些文件，NAS 设备会使用基于文件的标准协议，如网络文件系统 (NFS)、服务器消息块 (SMB)、通用互联网文件系统 (CIFS) 和/或 Apple 文件传输协议 (AFP)，分别与 Linux®、UNIX、Microsoft Windows 和 Apple 设备进行通信。
简单而言，NAS存储是一个基于网络的该项存储，使用不同操作系统( Linux、UNIX、Windows 和 Apple )的用户可以通过不同的网络协议连接到同一个NAS文件系统上，实现共享访问。
openfiler可以当做一台NAS服务器，从而给其它用户共享存储，接下来将一步一步创建NAS共享存储。
STEP1:在openfiler的WEB界面的Services中打开CIFS Server和NFS Server服务。
STEP2:在shares中点击“create new filesystem volumn”
STEP3:选择卷组，创建逻辑卷
STEP4:创建逻辑卷之后即可在“shares”看到刚哥创建的逻辑卷
右键，创建文件夹
STEP5:共享访问控制模式选择public guest access
STEP6:访问协议，将NFS和CIFS设置为读写(RW)即可
STEP7:在客户端机器上挂载磁盘
# 创建挂载路径 [root@testserver ~]# mkdir /data02 # 挂载 [root@testserver ~]# mount -t nfs 192.168.10.100:/mnt/vg_test/lv_test02/data02 /data02
挂载之后，就可以看见了。
为了重启机器后自动挂载，在fstab文件中添加信息
[root@testserver ~]# vim /etc/fstab # 添加如下挂载命令 192.168.10.100:/mnt/vg_test/lv_test02/data02 /data02 nfs defaults 0 0
【完】
