IP-SAN-iscsi

硬盘　(做raid ) －－》　服务器　　　　

直连

硬盘　(做raid ) －－》　服务器　

网络

存储分类:

DAS 直挂式存储(direct access/attach storage) 比如:机箱里的硬盘

NAS 网络附加存储(network attched storage) 比如:NFS,SAMBA,FTP等

SAN 存储区域网络(storage area network)

分布式存储(云存储)

DAS

优点: 不受网络限制，直接连系统总线

缺点: 能连接的硬盘个数有限，存储空间无法和其它服务器交互

NAS,SAN

优点: 经过网络共享给服务器使用，使用灵活　

缺点: 速度会受网络的限制

NAS,SAN都是通过网络共享存储，但NAS共享的一般是目录，而SAN共享的是物理卷

apache

|

nginx---storage --- mysql

|

|

oracle

两种SAN

FC-SAN：早期的SAN，服务器与交换机的数据传输是通过光纤进行的，服务器把SCSI指令传输到存储设备上，不能走普通LAN网的IP协议。

IP-SAN：后期出现的SAN，用IP协议封装的SAN，可以完全走普通网络，因此叫做IP-SAN，最典型的就是热门的ISCSI。

FC-SAN:速度快(2G,8G,16G)，成本高，传输距离有一定限制

IP-SAN:速度较慢（但以后会有W兆以太网标准），成本低，传输距离无限制

100M 1000M 10G

IP-SAN的共享技术:

gnbd (global network block device) rhel5可以用，现在已经不再支持了

iscsi 网络scsi,现在做ip-san的主要方式

------------------------------------------------------------------------------------------------------------

iscsi 网络 scsi(small computer system interface)

存储的N个磁盘－－》硬RAID－－》iscsi或FC－－》分区（lvm可选)－－》格式化－－》挂载使用

172.16.2.10

存储服务端(存储导出端,kvm虚拟机1)

|

　 　 | iscsi

|

存储客户端(存储导入端,kvm虚拟机2)

172.16.2.11

实验前准备:(kvm虚拟机,centos7.3平台.使用vmware虚拟机测试会出问题)

1,ip静态

2,关闭iptables,selinux

3,主机名互绑

4,时间同步

5,配置yum(本地源,epel,163)

存储导出端使用虚拟机来模拟（模拟存储可以使用多种形式,如硬盘:/dev/sdb,分区:/dev/sdb1,逻辑卷:/dev/vg/lv01,dd创建的大文件等等)

下面我为了实验方便，就用dd的大文件来模拟存储

# mkdir /data/

# dd if=/dev/zero of=/data/storage1 bs=1M count=500

# dd if=/dev/zero of=/data/storage2 bs=1M count=1000

# dd if=/dev/zero of=/data/storage3 bs=1M count=1500

# dd if=/dev/zero of=/data/storage4 bs=1M count=2000

一共产生四个模拟存储文件（1个500M,1个1000M,1个1500M,1个2000M;这么设计是为了方便后面讨论的)

第一大步:服务器端的配置

下面开始iscsi的共享

1,在iscsi存储服务端安装下面iscsi的服务端软件包

# yum install scsi-target-utils

2,配置主配置文件

# cat /etc/tgt/targets.conf |grep -v "#"

default-driver iscsi

<target iscsi:data1>

backing-store /data/storage1

incominguser li li123 ----存储客户端要求验证才可以通过网络使用这个设备，用户名和密码与系统用户无关

</target>

<target iscsi:data2>

backing-store /data/storage2

incominguser li li123

</target>

<target iscsi:data3>

backing-store /data/storage3 --这个存储共享没有任何验证方式，也就表示任何人可以远程iscsi挂载使用

</target>

<target iscsi:data4>

backing-store /data/storage4

initiator-address 172.16.0.0/16 --指定一个网段内的所有客户端可以使用这个设备

</target>

3,启动服务

# systemctl start tgtd

# systemctl status tgtd

# systemctl enable tgtd

4,验证端口和共享资源是否ok

# lsof -i:3260

# tgt-admin --show

第二大步:

iscsi客户端的配置 ----所有的客户端都要配置，步骤都一样

1，在每个客户端安装iscsi的客户端软件包

客户端配置yum(本地镜像yum)

# yum install iscsi-initiator-utils

2,因为iscsi服务端有两个资源被配置了验证，所以需要修改客户端配置文件才可以通过验证进行登录（如果iscsi服务端没有配置用户名密码验证，则客户端这一小步骤可以不用做）

# vim /etc/iscsi/iscsid.conf

57 node.session.auth.authmethod = CHAP --CHAP (Challenge-Handshake Authentication Protocol )

61 node.session.auth.username = li

62 node.session.auth.password = li123

71 discovery.sendtargets.auth.authmethod = CHAP

75 discovery.sendtargets.auth.username = li

76 discovery.sendtargets.auth.password = li123

3，在登录前必须要先连接并发现资源（discovery)

# iscsiadm -m discovery -t sendtargets -p 172.16.2.10 --使用此命令发现服务端的iscsi共享资源，IP为iscsi存储服务端的IP

172.16.2.10:3260,1 iscsi:data1

172.16.2.10:3260,1 iscsi:data2

172.16.2.10:3260,1 iscsi:data3

172.16.2.10:3260,1 iscsi:data4

4,发现资源成功后，就可以进行资源登录了

只登录其中一个目录:

# iscsiadm -m node -T iscsi:data1 -p 172.16.2.10 -l

直接登录所有发现的目标:

# iscsiadm -m node -l

5,登录成功后，直接使用fdisk -l查看

# fdisk -l |grep sd[a-z]

6，关于取消登录和删除

取消登录其中一个特定目录: --把-l改成-u

iscsiadm -m node -T iscsi:data1 -p 172.16.2.10 -u

取消登录所有目录:

iscsiadm -m node -u

7，用上面的命令取消登录后，如果把服务重启systemctl restart iscsi，它会仍然帮你把这些目录再自动登录上，如果你希望取消登录后，把相关信息完全删除，则需要做下面的操作

删除登录过的特定目录的信息: --把-l改成--op delete

iscsiadm -m node -T iscsi:data1 -p 172.16.2.10 --op delete

删除所有登录过的目录信息：

iscsiadm -m node --op delete

8,把所有登录的targets确认后，就可以启动服务，并做成开机自启动了

# systemctl start iscsi

# systemctl status iscsi

# systemctl enable iscsi

# systemctl start iscsid

# systemctl status iscsid

# systemctl enable iscsid

问题:

# fdisk -l |grep sd[b-z]

# iscsiadm -m node -u

# fdisk -l |grep sd[b-z]

# iscsiadm -m node -l

多登出再登录几次，查看会发现名字顺序可能会变化

下面使用存储多路径来进行绑定

--------------------------------------------------------------------------------------------------------------------

存储多路径（和双网卡绑定类似，相当于存储线路的双线路绑定,和后面要讲的HA集群也是类似)

device-multipath

　　172.16.2.10 　　　192.168.122.100

存储服务端(存储导出端,虚拟机1)

| |

　 | |

| |

| |

存储客户端(存储导入端,虚拟机2)

　　172.16.2.11 192.168.122.101

准备工作:

1,在前面实验的基础上,服务器和客户端各加一个网卡连接到一个新的网络上（我这里是192.168.122.0/24网段)

2,再然后在存储客户端(存储导入端)登出这四个存储，并删除相关信息

# iscsiadm -m node -u

# iscsiadm -m node --op delete

最后要注意如果先前在存储服务端（存储导出端）配置时用了initiator-address 172.16.0.0/16参数进行控制的人需要删除它，或者修改一下（因为我们后面要配置两个网段),然后重启服务

第一步:

在存储客户端(存储导入端)去发现iscsi服务器上的存储。分别使用服务器的两个IP去发现,然后将它们登录

# iscsiadm -m discovery -t sendtargets -p 172.16.2.10

172.16.2.10:3260,1 iscsi:data1

172.16.2.10:3260,1 iscsi:data2

172.16.2.10:3260,1 iscsi:data3

172.16.2.10:3260,1 iscsi:data4

# iscsiadm -m discovery -t sendtargets -p 192.168.122.100

192.168.122.10:3260,1 iscsi:data1

192.168.122.10:3260,1 iscsi:data2

192.168.122.10:3260,1 iscsi:data3

192.168.122.10:3260,1 iscsi:data4

# iscsiadm -m node -l --把发现的targets全部登录

使用fdisk -l |grep sd[a-z]命令能查看到8个存储(但实际是4个存储，分别由两个线路去访问的)

第二步:

在存储客户端(存储导入端)安装device-mapper-multipath的包

# yum install device-mapper* -y

# rpm -qa |grep ^device-mapper

device-mapper-multipath-0.4.9-99.el7_3.3.x86_64

device-mapper-event-1.02.135-1.el7_3.4.x86_64

device-mapper-libs-1.02.135-1.el7_3.4.x86_64

device-mapper-devel-1.02.135-1.el7_3.4.x86_64

device-mapper-1.02.135-1.el7_3.4.x86_64

device-mapper-multipath-libs-0.4.9-99.el7_3.3.x86_64

device-mapper-event-devel-1.02.135-1.el7_3.4.x86_64

device-mapper-event-libs-1.02.135-1.el7_3.4.x86_64

device-mapper-multipath-sysvinit-0.4.9-99.el7_3.3.x86_64

device-mapper-persistent-data-0.6.3-1.el7.x86_64

第三步:

把上面的8个进行多路径绑定，绑成4个来用(同一个存储的两个线路访问的绑定成一个)，并且名字可以自定义

# mpathconf --enable --先运行此命令，才会产生/etc/multipath.conf的配置文件

# cat /etc/multipath.conf |grep -v ^# |grep -v ^$

defaults { --看作为全局配置参数

user_friendly_names yes --使用友好名字（默认名为wwid，名字长且难认，友好名可以自定义)

find_multipaths yes

}

blacklist { --黑名单（表示所有在黑名单里的设备不会被绑定成多路径设备)

}

# vim /etc/multipath.conf

blacklist {

devnode "^sda" --除了sda开头的设备，我都做多路径（但不是说所有的如tty1,pts1这些设备也有多路径，他会自己发现）

}

--如果你是使用kvm虚拟机(使用的是virio的磁盘)来做，把sda改成vda

# systemctl start multipathd.service

# systemctl status multipathd.service

# systemctl enable multipathd.service

# multipath -ll　　　--使用这个命令可以看到四个新绑定的设备了(mpatha,mpathb,mpathc,mpathd)这四个设备就是双线路绑定的设备

# multipath -ll

mpathd (360000000000000000e00000000040001) dm-3 IET ,VIRTUAL-DISK --长数字字符串就是wwid

size=2.0G features='0' hwhandler='0' wp=rw

|-+- policy='service-time 0' prio=1 status=active --主线路

| `- 8:0:0:1 sdf 8:80 active ready running

`-+- policy='service-time 0' prio=1 status=enabled --备线路（也就是说默认为主备模式)

`- 9:0:0:1 sdh 8:112 active ready running

mpathc (360000000000000000e00000000030001) dm-2 IET ,VIRTUAL-DISK

size=1.5G features='0' hwhandler='0' wp=rw

|-+- policy='service-time 0' prio=1 status=active

| `- 6:0:0:1 sde 8:64 active ready running

`-+- policy='service-time 0' prio=1 status=enabled

`- 7:0:0:1 sdg 8:96 active ready running

mpathb (360000000000000000e00000000020001) dm-1 IET ,VIRTUAL-DISK

size=1000M features='0' hwhandler='0' wp=rw

|-+- policy='service-time 0' prio=1 status=active

| `- 4:0:0:1 sdc 8:32 active ready running

`-+- policy='service-time 0' prio=1 status=enabled

`- 5:0:0:1 sdd 8:48 active ready running

mpatha (360000000000000000e00000000010001) dm-0 IET ,VIRTUAL-DISK

size=500M features='0' hwhandler='0' wp=rw

|-+- policy='service-time 0' prio=1 status=active

| `- 2:0:0:1 sda 8:0 active ready running

`-+- policy='service-time 0' prio=1 status=enabled

`- 3:0:0:1 sdb 8:16 active ready running

第四步:

下面我对这8个存储进行自定义绑定（把名字分别绑成data1,data2,这两个做成ha高可用模式；data3,data4这两个做成lb负载均衡模式)

# cat /etc/multipath.conf |grep -v ^# |grep -v ^$

defaults {

user_friendly_names yes

find_multipaths yes

}

multipaths {

multipath {

wwid 360000000000000000e00000000010001　--wwid

alias data1 ----自定义绑定的名字

path_grouping_policy failover ----HA模式

path_selector "round-robin 0"

failback immediate ----主线路挂了再启起来后,会马上切换回来

rr_weight priorities

no_path_retry 5

}

multipath {

wwid 360000000000000000e00000000020001

alias data2

path_grouping_policy failover

path_checker directio

path_selector "round-robin 0"

failback immediate

rr_weight priorities

no_path_retry 5

}

multipath {

wwid 360000000000000000e00000000030001

alias data3

path_grouping_policy multibus

path_checker directio

path_selector "round-robin 0"

failback immediate

rr_weight priorities

no_path_retry 5

}

multipath {

wwid 360000000000000000e00000000040001

alias data4

path_grouping_policy multibus

path_checker directio

path_selector "round-robin 0"

failback immediate

rr_weight priorities

no_path_retry 5

}

}

blacklist {

}

# systemctl restart multipathd.service

# multipath -ll --查看验证，就绑定成了data1,data2,data3,data4这样的名称

# ls /dev/mapper/data*

/dev/mapper/data1 /dev/mapper/data2 /dev/mapper/data3 /dev/mapper/data4

第五步:

测试

将failover和multibus两种模式各拿一个存储出来格式化（可以直接格式化，也可以先分区再格式化，如果分区后/dev/mapper/下看不到设备，则使用partprobe刷新一下)，并挂载进行测试

测试过程省略

data1和data2 failover --HA模式 高可用

data3和data4 multibus --LA模式 负载均衡

格式化分区挂载后：

# dd if=/dev/zero of=/data4/test bs=1M count=900

# dd if=/dev/zero of=/data2/test bs=1M count=900

# ifconfig ens33 down 或 ifconfig ens38 down

# iptraf 查看

重启测试

iscsi存储可以自动登录

存储多路径可以自动绑定

注：但写到/etc/fstab里或/etc/rc.local里的自动mount挂载目前还有问题（不能开机自动挂载）　----待解决

#######################################################

课外扩展:

freeNAS

　　是一套免费的NAS服务器，它能将一部普通PC变成网络存储服务器。该软件基于FreeBSD，Samba 及PHP，支持CIFS (samba), FTP, NFS protocols, Software RAID (0,1,5) 及 web 界面的设定工具。用户可通过Windows、Macs、FTP、SSH 及网络文件系统 (NFS) 来访问存储服务器；FreeNAS可被安装于硬盘或移动介质USB Flash Disk上。FreeNAS 服务器前途无量；它是组建简单网络存储服务器的绝佳选择，免去安装整套Linux或 FreeBSD 的烦恼。

笔记目录/arch/san_iso/FreeNAS-9.2.1.7-RELEASE-x64.iso --目前的最新版本

openfiler

Openfiler 由rPath Linux驱动，它是一个基于浏览器的免费网络存储管理实用程序，可以在单一框架中提供基于文件的网络连接存储 (NAS) 和基于块的存储区域网 (SAN)。Openfiler 支持 CIFS、NFS、HTTP/DAV 和 FTP

/arch/san_iso/openfileresa-2.99.1-x86_64-disc1.iso --目前的最新版本