radhat6.6上安装oracle12c RAC （二）

二、GI(Grid Infrastructure)安装

首先将安装包传到node1的目录

2.1 GI软件安装

2.1.1、解压安装包

#su - grid
解压 GRID 到 GRID用户的$ORACLE_HOME下

[grid@jydb1 grid]$ pwd
/u01/app/12.2.0/grid
[grid@jydb1 grid]$ unzip /tools/linuxx64_12201_grid_home.zip

2.1.2、如何调用图形界面安装

在.bash_profile中添加display变量：export DISPLAY=192.168.1.61:0.0（ip为我宿主机win的ip）

网络畅通的情况下执行 xhost +，测试

[grid@jydb1 grid]$ xhost +
access control disabled, clients can connect from any host

 运行安装脚本：

运行gridSetup配置GI
[grid@jydb1 grid]$ ./gridSetup.sh 
ERROR: Unable to verify the graphical display setup. This application requires X display. Make sure that xdpyinfo exist under PATH variable.（我这里虽然报错了，但是图形界面调出来了）
正在启动 Oracle Grid Infrastructure 安装向导...

 可以在以下位置找到本次安装会话的日志:
  /u01/app/oraInventory/logs/GridSetupActions2018-03-30_04-18-54PM/gridSetupActions2018-03-30_04-18-54PM.log

 

如果此步骤出现prvf-0002的报错，则在/etc/hosts中加入主机的对应

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 jydb1.rac
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6 jydb1.rac

 

 2.1.3、下面来看下GI配置的整个图形化安装的过程截图：

注：这里public网卡暂时用的eth0，暂没有和eth1做bonding，是为了后续做后续的网卡绑定实验做准备。如果是生产新的安装，建议直接在安装前绑定好，免去后续修改的麻烦。另外可以看到12c多了一个ASM的网络，可以和私有网络共用一个地址。

oracle的clusterware包含两个重要组件：OCR(包含本地组件OLR)和voting disks
　　--OCR管理oracle clusterware和oracle rac数据库的配置信息
　　--OLR位于每个节点本地，管理着本地节点的clusterware配置信息
　　--voting disks管理成员关系信息。每个voting disk都必须能被集群中的所有节点访问。

冗余方式说明：

　　--external（外部）：需要1块磁盘，表示Oracle不帮你管理镜像，功能由外部存储系统实现，比如通过RAID技术；有效磁盘空间是所有磁盘设备空间的大小之和。

　　--normal（正常）需要3块磁盘，表示Oracle提供2份镜像来保护数据(镜像数据一次)，有效磁盘空间是所有磁盘设备大小之和的1/2 （使用最多）。

　　--high（高）：需要5块磁盘，表示Oracle提供3份镜像来保护数据(镜像数据两次)，以提高性能和数据的安全，最少需要三块磁盘（三个failure group）；有效磁盘空间是所有磁盘设备大小之和的1/3，虽然冗余级别高了，但是硬件的代价也最高。

注：之后用同样的方法设置DATA和FRA，冗余类型为extend

注：这里有一个新的存储MGMT的，我这里选择是外部冗余的一个40G大小的盘，这是12c新引入的概念。

 

检查到一些问题，排查并解决见另一篇随笔

 

 注：执行root脚本，确保先在一节点执行完毕后，再在其他节点执行。

这里要一个节点先执行完再执行另外一个，第二个脚本时间比较久
[root@jydb1 ~]#  sh /u01/app/oraInventory/orainstRoot.sh
更改权限/u01/app/oraInventory.
添加组的读取和写入权限。
删除全局的读取, 写入和执行权限。

更改组名/u01/app/oraInventory 到 oinstall.
脚本的执行已完成。
[root@jydb1 ~]# /u01/app/12.2.0/gird/root.sh
Performing root user operation.

The following environment variables are set as:
    ORACLE_OWNER= grid
    ORACLE_HOME=  /u01/app/12.2.0/gird

Enter the full pathname of the local bin directory: [/usr/local/bin]: 
   Copying dbhome to /usr/local/bin ...
   Copying oraenv to /usr/local/bin ...
   Copying coraenv to /usr/local/bin ...


Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Relinking oracle with rac_on option






Using configuration parameter file: /u01/app/12.2.0/gird/crs/install/crsconfig_params
The log of current session can be found at:
  /u01/app/grid/crsdata/jydb1/crsconfig/rootcrs_jydb1_2018-03-30_01-03-46PM.log
2018/03/30 13:04:05 CLSRSC-594: Executing installation step 1 of 19: 'SetupTFA'.
2018/03/30 13:04:05 CLSRSC-4001: Installing Oracle Trace File Analyzer (TFA) Collector.
2018/03/30 13:05:17 CLSRSC-4002: Successfully installed Oracle Trace File Analyzer (TFA) Collector.
2018/03/30 13:05:18 CLSRSC-594: Executing installation step 2 of 19: 'ValidateEnv'.
2018/03/30 13:05:31 CLSRSC-363: User ignored prerequisites during installation
2018/03/30 13:05:31 CLSRSC-594: Executing installation step 3 of 19: 'CheckFirstNode'.
2018/03/30 13:05:34 CLSRSC-594: Executing installation step 4 of 19: 'GenSiteGUIDs'.
2018/03/30 13:05:36 CLSRSC-594: Executing installation step 5 of 19: 'SaveParamFile'.
2018/03/30 13:05:48 CLSRSC-594: Executing installation step 6 of 19: 'SetupOSD'.
2018/03/30 13:05:52 CLSRSC-594: Executing installation step 7 of 19: 'CheckCRSConfig'.
2018/03/30 13:05:52 CLSRSC-594: Executing installation step 8 of 19: 'SetupLocalGPNP'.
2018/03/30 13:06:43 CLSRSC-594: Executing installation step 9 of 19: 'ConfigOLR'.
2018/03/30 13:06:57 CLSRSC-594: Executing installation step 10 of 19: 'ConfigCHMOS'.
2018/03/30 13:06:57 CLSRSC-594: Executing installation step 11 of 19: 'CreateOHASD'.
2018/03/30 13:07:07 CLSRSC-594: Executing installation step 12 of 19: 'ConfigOHASD'.
2018/03/30 13:07:22 CLSRSC-330: Adding Clusterware entries to file 'oracle-ohasd.conf'
2018/03/30 13:07:55 CLSRSC-594: Executing installation step 13 of 19: 'InstallAFD'.
2018/03/30 13:08:37 CLSRSC-594: Executing installation step 14 of 19: 'InstallACFS'.
CRS-2791: 正在启动用于关闭 'jydb1' 上 Oracle 高可用性服务管理的资源的操作
CRS-2793: 关闭 'jydb1' 上 Oracle 高可用性服务管理的资源的操作已完成
CRS-4133: Oracle 高可用性服务已停止。
CRS-4123: Oracle 高可用性服务已启动。
2018/03/30 13:09:24 CLSRSC-594: Executing installation step 15 of 19: 'InstallKA'.
2018/03/30 13:09:33 CLSRSC-594: Executing installation step 16 of 19: 'InitConfig'.
CRS-2791: 正在启动用于关闭 'jydb1' 上 Oracle 高可用性服务管理的资源的操作
CRS-2793: 关闭 'jydb1' 上 Oracle 高可用性服务管理的资源的操作已完成
CRS-4133: Oracle 高可用性服务已停止。
CRS-4123: Oracle 高可用性服务已启动。
CRS-2672: 尝试启动 'ora.driver.afd' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.evmd' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.mdnsd' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.driver.afd' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.cssdmonitor' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.cssdmonitor' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.evmd' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.mdnsd' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.gpnpd' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.gpnpd' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.gipcd' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.gipcd' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.cssd' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.diskmon' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.diskmon' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.cssd' (在 'jydb1' 上)

已成功创建磁盘标签。有关详细信息, 请查看 /u01/app/grid/cfgtoollogs/asmca/asmca-180330下午011025.log。
已成功创建磁盘组。有关详细信息, 请查看 /u01/app/grid/cfgtoollogs/asmca/asmca-180330下午011025.log。




2018/03/30 13:14:14 CLSRSC-482: Running command: '/u01/app/12.2.0/gird/bin/ocrconfig -upgrade grid oinstall'

CRS-2672: 尝试启动 'ora.crf' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.storage' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.storage' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.crf' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.crsd' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.crsd' (在 'jydb1' 上)
CRS-4256: 更新概要文件
已成功添加表决磁盘 a367f1f7d7d04f8fbfb628ad6d693c69。
已成功添加表决磁盘 be73230422a74f91bff0188851257767。
已成功添加表决磁盘 5cc7db1a58224f3cbf60de72e5048431。
已成功将表决磁盘组替换为 +OCR。
CRS-4256: 更新概要文件
CRS-4266: 已成功替换表决文件
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   a367f1f7d7d04f8fbfb628ad6d693c69 (AFD:OCR1) [OCR]
 2. ONLINE   be73230422a74f91bff0188851257767 (AFD:OCR2) [OCR]
 3. ONLINE   5cc7db1a58224f3cbf60de72e5048431 (AFD:OCR3) [OCR]
找到了 3 个表决磁盘。


CRS-2791: 正在启动用于关闭 'jydb1' 上 Oracle 高可用性服务管理的资源的操作
CRS-2673: 尝试停止 'ora.crsd' (在 'jydb1' 上)
CRS-2677: 成功停止 'ora.crsd' (在 'jydb1' 上)
CRS-2673: 尝试停止 'ora.storage' (在 'jydb1' 上)
CRS-2673: 尝试停止 'ora.crf' (在 'jydb1' 上)
CRS-2673: 尝试停止 'ora.drivers.acfs' (在 'jydb1' 上)
CRS-2673: 尝试停止 'ora.gpnpd' (在 'jydb1' 上)
CRS-2673: 尝试停止 'ora.mdnsd' (在 'jydb1' 上)
CRS-2677: 成功停止 'ora.storage' (在 'jydb1' 上)
CRS-2673: 尝试停止 'ora.asm' (在 'jydb1' 上)
CRS-2677: 成功停止 'ora.drivers.acfs' (在 'jydb1' 上)
CRS-2677: 成功停止 'ora.gpnpd' (在 'jydb1' 上)
CRS-2677: 成功停止 'ora.crf' (在 'jydb1' 上)
CRS-2677: 成功停止 'ora.mdnsd' (在 'jydb1' 上)
CRS-2677: 成功停止 'ora.asm' (在 'jydb1' 上)
CRS-2673: 尝试停止 'ora.cluster_interconnect.haip' (在 'jydb1' 上)
CRS-2677: 成功停止 'ora.cluster_interconnect.haip' (在 'jydb1' 上)
CRS-2673: 尝试停止 'ora.ctssd' (在 'jydb1' 上)
CRS-2673: 尝试停止 'ora.evmd' (在 'jydb1' 上)
CRS-2677: 成功停止 'ora.ctssd' (在 'jydb1' 上)
CRS-2677: 成功停止 'ora.evmd' (在 'jydb1' 上)
CRS-2673: 尝试停止 'ora.cssd' (在 'jydb1' 上)
CRS-2677: 成功停止 'ora.cssd' (在 'jydb1' 上)
CRS-2673: 尝试停止 'ora.driver.afd' (在 'jydb1' 上)
CRS-2673: 尝试停止 'ora.gipcd' (在 'jydb1' 上)
CRS-2677: 成功停止 'ora.driver.afd' (在 'jydb1' 上)
CRS-2677: 成功停止 'ora.gipcd' (在 'jydb1' 上)
CRS-2793: 关闭 'jydb1' 上 Oracle 高可用性服务管理的资源的操作已完成
CRS-4133: Oracle 高可用性服务已停止。
2018/03/30 13:18:47 CLSRSC-594: Executing installation step 17 of 19: 'StartCluster'.

CRS-4123: 正在启动 Oracle 高可用性服务管理的资源
CRS-2672: 尝试启动 'ora.mdnsd' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.evmd' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.mdnsd' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.evmd' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.gpnpd' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.gpnpd' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.gipcd' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.gipcd' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.cssdmonitor' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.cssdmonitor' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.cssd' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.diskmon' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.diskmon' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.cssd' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.cluster_interconnect.haip' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.ctssd' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.ctssd' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.cluster_interconnect.haip' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.asm' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.asm' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.storage' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.storage' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.crf' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.crf' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.crsd' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.crsd' (在 'jydb1' 上)
CRS-6023: 正在启动 Oracle 集群就绪服务管理的资源
CRS-6017: 正在处理以下服务器的资源自动启动: jydb1
CRS-6016: 服务器 jydb1 的资源自动启动已完成
CRS-6024: 已完成启动 Oracle 集群就绪服务管理的资源
CRS-4123: Oracle 高可用性服务已启动。
2018/03/30 13:23:37 CLSRSC-343: Successfully started Oracle Clusterware stack
2018/03/30 13:23:38 CLSRSC-594: Executing installation step 18 of 19: 'ConfigNode'.

CRS-2672: 尝试启动 'ora.ASMNET1LSNR_ASM.lsnr' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.ASMNET1LSNR_ASM.lsnr' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.asm' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.asm' (在 'jydb1' 上)
CRS-2672: 尝试启动 'ora.OCR.dg' (在 'jydb1' 上)
CRS-2676: 成功启动 'ora.OCR.dg' (在 'jydb1' 上)

2018/03/30 13:31:24 CLSRSC-594: Executing installation step 19 of 19: 'PostConfig'.

已成功创建磁盘标签。有关详细信息, 请查看 /u01/app/grid/cfgtoollogs/asmca/asmca-180330下午013233.log。
2018/03/30 13:39:30 CLSRSC-325: Configure Oracle Grid Infrastructure for a Cluster ... succeeded

 

 

 注：最后这个报错提示，查看日志发现是因为使用了一个scan ip的提示，可以忽略。

 至此GI安装配置完成。

2.2 验证crsctl的状态

 crsctl stat res -t

[grid@jydb1 grid]$ crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.ASMNET1LSNR_ASM.lsnr
               ONLINE  ONLINE       jydb1                    STABLE
               ONLINE  ONLINE       jydb2                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       jydb1                    STABLE
               ONLINE  ONLINE       jydb2                    STABLE
ora.MGMT.dg
               ONLINE  ONLINE       jydb1                    STABLE
               ONLINE  ONLINE       jydb2                    STABLE
ora.OCR.dg
               ONLINE  ONLINE       jydb1                    STABLE
               ONLINE  ONLINE       jydb2                    STABLE
ora.chad
               ONLINE  ONLINE       jydb1                    STABLE
               ONLINE  ONLINE       jydb2                    STABLE
ora.net1.network
               ONLINE  ONLINE       jydb1                    STABLE
               ONLINE  ONLINE       jydb2                    STABLE
ora.ons
               ONLINE  ONLINE       jydb1                    STABLE
               ONLINE  ONLINE       jydb2                    STABLE
ora.proxy_advm
               OFFLINE OFFLINE      jydb1                    STABLE
               OFFLINE OFFLINE      jydb2                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       jydb1                    169.254.252.146 10.0
                                                             .0.1,STABLE
ora.asm
      1        ONLINE  ONLINE       jydb1                    Started,STABLE
      2        ONLINE  ONLINE       jydb2                    Started,STABLE
      3        OFFLINE OFFLINE                               STABLE
ora.cvu
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.jydb1.vip
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.jydb2.vip
      1        ONLINE  ONLINE       jydb2                    STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       jydb1                    Open,STABLE
ora.qosmserver
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       jydb1                    STABLE
--------------------------------------------------------------------------------

 

crsctl stat res -t -init

[grid@jydb1 grid]$ crsctl stat res -t -init
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.asm
      1        ONLINE  ONLINE       jydb1                    Started,STABLE
ora.cluster_interconnect.haip
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.crf
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.crsd
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.cssd
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.cssdmonitor
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.ctssd
      1        ONLINE  ONLINE       jydb1                    ACTIVE:0,STABLE
ora.diskmon
      1        OFFLINE OFFLINE                               STABLE
ora.driver.afd
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.drivers.acfs
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.evmd
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.gipcd
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.gpnpd
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.mdnsd
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.storage
      1        ONLINE  ONLINE       jydb1                    STABLE
-------------------------------------------------------------------------------- 

测试集群的failed over 功能

　　节点2被重启，查看节点1状态：

[grid@jydb1 grid]$ crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.ASMNET1LSNR_ASM.lsnr
               ONLINE  ONLINE       jydb1                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       jydb1                    STABLE
ora.MGMT.dg
               ONLINE  ONLINE       jydb1                    STABLE
ora.OCR.dg
               ONLINE  ONLINE       jydb1                    STABLE
ora.chad
               ONLINE  ONLINE       jydb1                    STABLE
ora.net1.network
               ONLINE  ONLINE       jydb1                    STABLE
ora.ons
               ONLINE  ONLINE       jydb1                    STABLE
ora.proxy_advm
               OFFLINE OFFLINE      jydb1                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       jydb1                    169.254.252.146 10.0
                                                             .0.1,STABLE
ora.asm
      1        ONLINE  ONLINE       jydb1                    Started,STABLE
      2        ONLINE  OFFLINE                               STABLE
      3        OFFLINE OFFLINE                               STABLE
ora.cvu
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.jydb1.vip
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.jydb2.vip
      1        ONLINE  INTERMEDIATE jydb1                    FAILED OVER,STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       jydb1                    Open,STABLE
ora.qosmserver
      1        ONLINE  ONLINE       jydb1                    STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       jydb1                    STABLE
--------------------------------------------------------------------------------

 

 

　　节点1被重启，查看节点2状态：

 至此，12cR2的GI配置测试已全部完成。