代码改变世界

Openfiler配置RAC共享存储

2015-10-22 13:53  AlfredZhao  阅读(5700)  评论(1)  编辑  收藏  举报

将 Openfiler 用作 iSCSI 存储服务器，主要操作步骤如下：

首先，需要安装Openfiler系统（类似安装Linux），我这里设定的IP地址:10.10.10.10（与RAC服务器网络相通）。安装完毕后通过web访问管理
https://10.10.10.10:446

默认用户密码：openfiler/password

1.设置 iSCSI 服务

Services -> iSCSI Target -> start 
# service iscsi-target status
ietd (pid 897) is running...

图形界面截图1：启动并设置自启动iSCSI服务

2.配置网络访问

通过System -> Network Access Configuration进行网络访问配置，添加可以访问到Openfiler的服务器IP地址。 
Delete	Name	Network/Host	Netmask	Type
	jyracdb1-priv	10.10.10.191	255.255.255.255	Share
	jyracdb2-priv	10.10.10.193	255.255.255.255	Share

图形界面截图2：网络访问控制

3.指定物理存储器并对其分区

通过Volumes -> Block Devices 图形界面截图3：创建pv ![](http://images.cnblogs.com/cnblogs_com/jyzhao/652804/o_openfiler3_1.png) ![](http://images.cnblogs.com/cnblogs_com/jyzhao/652804/o_openfiler3_2.png)

4.创建新的卷组

通过Volumes -> Volume Groups 图形界面截图4：创建vg ![](http://images.cnblogs.com/cnblogs_com/jyzhao/652804/o_openfiler4.png)

5.创建所有逻辑卷

通过Volumes -> Add Volume 图形界面截图5：在vg中创建lv ![](http://images.cnblogs.com/cnblogs_com/jyzhao/652804/o_openfiler5.png)

6.为每个逻辑卷创建新的 iSCSI 目标

通过Volumes -> iSCSI Targets ## 6.1 添加新的iSCSI Target ## ![](http://images.cnblogs.com/cnblogs_com/jyzhao/652804/o_openfiler6_1.png) ## 6.2 选择iSCSI Target ## ![](http://images.cnblogs.com/cnblogs_com/jyzhao/652804/o_openfiler6_2.png) ## 6.3 LUN 映射 ## ![](http://images.cnblogs.com/cnblogs_com/jyzhao/652804/o_openfiler6_3.png) ## 6.4 ACL设置为Allow ## ![](http://images.cnblogs.com/cnblogs_com/jyzhao/652804/o_openfiler6_4.png)

7.RAC各节点配置共享存储

## 7.1 检查rpm包 ## 
# rpm -qa --queryformat "%{NAME}-%{VERSION}-%{RELEASE} (%{ARCH})\n"| grep iscsi-initiator-utils
iscsi-initiator-utils-6.2.0.873-2.el6 (x86_64)

7.2 检查服务状态

# service iscsid status
iscsid (pid  672) is running...

7.3 显示Openfiler上所有可用的LUN

# iscsiadm -m discovery -t sendtargets -p 10.10.10.10
10.10.10.10:3260,1 iqn.2006-01.com.openfiler:racdb-fra1
10.10.10.10:3260,1 iqn.2006-01.com.openfiler:racdb-data1
10.10.10.10:3260,1 iqn.2006-01.com.openfiler:racdb-crs1

7.4 登录iscsi目标

#手工登录iscsi目标
iscsiadm -m node -T iqn.2006-01.com.openfiler:racdb-crs1 -p 10.10.10.10 -l
iscsiadm -m node -T iqn.2006-01.com.openfiler:racdb-data1 -p 10.10.10.10 -l
iscsiadm -m node -T iqn.2006-01.com.openfiler:racdb-fra1 -p 10.10.10.10 -l
#配置自动登录
iscsiadm -m node -T iqn.2006-01.com.openfiler:racdb-crs1 -p 10.10.10.10 --op update -n node.startup -v automatic
iscsiadm -m node -T iqn.2006-01.com.openfiler:racdb-data1 -p 10.10.10.10 --op update -n node.startup -v automatic
iscsiadm -m node -T iqn.2006-01.com.openfiler:racdb-fra1 -p 10.10.10.10 --op update -n node.startup -v automatic

7.5 重启iscsi服务

[root@jyracdb1 ~]# service iscsi stop
Stopping iscsi: [  OK  ]
[root@jyracdb1 ~]# service iscsi start
Starting iscsi: [  OK  ]

7.6 udev绑定共享存储

fdisk -l 查看有那些磁盘，参考Maclean的udev绑定脚本：

将 b->f的编号放入for 循环中，例如：
# AUTO UDEV RULE BY Maclean Liu 2012/06/30
for i in b c d e f ;
do
echo "KERNEL==\"sd*\", BUS==\"scsi\", PROGRAM==\"/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/\$name\", RESULT==\"`/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/sd$i`\", NAME=\"asm-disk$i\", OWNER=\"grid\", GROUP=\"asmadmin\", MODE=\"0660\""      
done

就会生成sdb->sdf 设备绑定的RULE，在将这些RULE写入到/etc/udev/rules.d/99-oracle-asmdevices.rules中
之后运行用root运行/sbin/start_udev  即可.

7.7 重启两台主机

确定主机重启后，共享存储都正常。

ls -lh /dev/asm*

Reference