ORACLE RAC如何增加节点
ORACLE RAC系统是一个可以横向进行扩展的系统，当一个RAC系统计算能力不满足客户的需求时候，增加节点能够快速增加整个系统的计算能力，使得客户系统计算能力得到一定的提升，以满足客户不断增长的计算需求。
一、 增加节点的准备工作
俗话说，磨刀不误砍柴工，在RAC安装和增加节点过程中，该俗语充分体现了准备工作的重要性。硬件初始化主要包括服务器的安装、存储的连接、网络连接等步骤。本文所基于的基本环境如下：
1. 原有节点分别为cluster1和cluster2
2. 软件环境如下：
操作系统：solaris 10 u11
数据库软件：ORACLE Database 11g
OS用户： grid用户用于管理clusterware，oracle用户用于数据库
3. IP地址具体规划如下：
192.168.0.12 cluster1
192.168.0.13 cluster2
192.168.0.14 cluster1-vip
192.168.0.16 cluster2-vip
192.168.0.15 cluster1-priv
192.168.0.17 cluster2-priv
192.168.0.19 scan-ip
4. 新节点环境规划：
操作系统和database软件必须采用原有节点一个版本的软件
创建grid和oracle用户，具体创建步骤参考下节内容
IP地址设置为：
192.168.0.18 cluster3
192.168.0.20 cluster3-vip
192.168.0.21 cluster-priv
u 主机系统环境的设置
1. 创建用户
groupadd -g 1000 oinstall
groupadd -g 1001 dba
useradd -u 1100 -g dba -G oinstall -d /export/home/grid -m grid
useradd -u 1101 -g dba -G oinstall -d /export/home/oracle -m oracle
2.设置password
passwd grid
passwd oracle
3.创建相应的目录
mkdir -p /oracle/app/grid
mkdir -p /oracle/app/11g
chown -R grid:dba /oracle/app/grid
chmod -R 775 /oracle/app/grid
mkdir -p ORACLE_BASE=/oracle/app/oracle
mkdir -p /oracle/app/oracle/product/11.2.0/dbhome_1
chown –R oracle:dba /oracle/app/oracle
4. grid user用的.profile文件
ORACLE_BASE=/oracle/app/grid; export ORACLE_BASE
ORACLE_HOME=/oracle/app/11g; export ORACLE_HOME
JAVA_HOME=$ORACLE_HOME/jdk; export JAVA_HOME
#ORACLE_PATH=/oracle/app/oracle/11g/common/oracle/sql; export ORACLE_PATH
ORACLE_SID=+ASM4; export ORACLE_SID
ORACLE_TERM=xterm; export ORACLE_TERM
NLS_DATE_FORMAT="DD-MON-YYYY HH24:MI:SS"; export NLS_DATE_FORMAT
TNS_ADMIN=$ORACLE_HOME/network/admin; export TNS_ADMIN
ORA_NLS11=$ORACLE_HOME/nls/data; export ORA_NLS11
PATH=$PATH:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin:$JAVA_HOME/bin:$HOME/bin:$ORACLE_HOME/bin; export PATH
LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib
export LD_LIBRARY_PATH
CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib; export CLASSPATH
NLS_LANG=American_america.zhs16gbk; export NLS_LANG
THREADS_FLAG=native; export THREADS_FLAG
TEMP=/tmp; export TEMP
TMPDIR=/tmp; export TMPDIR
# UMASK
umask 022
5. oracle用户的.profile文件
ORACLE_BASE=/oracle/app/oracle; export ORACLE_BASE
ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1; export ORACLE_HOME
JAVA_HOME=$ORACLE_HOME/jdk; export JAVA_HOME
#ORACLE_PATH=/oracle/app/common/oracle/sql; export ORACLE_PATH
ORACLE_TERM=xterm; export ORACLE_TERM
ORACLE_SID=yxjb4; export ORACLE_SID
ORACLE_UNQNAME=yxjb; export ORACLE_UNQNAME
NLS_DATE_FORMAT="DD-MON-YYYY HH24:MI:SS"; export NLS_DATE_FORMAT
TNS_ADMIN=$ORACLE_HOME/network/admin; export TNS_ADMIN
ORA_NLS11=$ORACLE_HOME/nls/data; export ORA_NLS11
PATH=$PATH:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin:$JAVA_HOME/bin:$HOME/bin:$ORACLE_HOME/bin; export PATH
LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib
export LD_LIBRARY_PATH
CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib; export CLASSPATH
NLS_LANG=American_america.zhs16gbk; export NLS_LANG
THREADS_FLAG=native; export THREADS_FLAG
TEMP=/tmp; export TEMP
TMPDIR=/tmp; export TMPDIR
# UMASK
umask 022
6. 修改UDP-TCP的kernel参数
vi /etc/rc3.d/S99NddUDPTCP
#!/bin/sh
/usr/sbin/ndd -set /dev/tcp tcp_smallest_anon_port 9000
/usr/sbin/ndd -set /dev/tcp tcp_largest_anon_port 65500
/usr/sbin/ndd -set /dev/udp udp_smallest_anon_port 9000
/usr/sbin/ndd -set /dev/udp udp_largest_anon_port 65500 1.创建用户
chmod +x /etc/rc3.d/S99NddUDPTCP
6.设置主机的存储
根据具体存储进行设置，将原有ASM使用的磁盘在新节点上更改器属性，OCR的盘更改为grid：oinstall，数据盘更改为oracle：dba，这些盘都这对raw设备进行属性更改，读写属性都修改为660。
7.建立grid,oracle用户的ssh信任关系
具体如何建立ssh信任关系可以参考我的豆丁文档：
二、 增加节点具体步骤：
准备工作完成后，就可以根据新环境将新节点增加到RAC系统了，RAC增加节点总共分为三步进行，第一步就是将clusterware软件系统进行扩展，将所有11g的clusterware软件添加到新节点，第二步就是将ORACLE数据库的软件扩展到新节点，最后一步就是使用dbca创建新节点的数据库实例instance。
1. Clusterware软件扩展
软件的扩展就是在新节点上进行CRS软件的安装，此处无需使用原有的软件包来进行runInstaller的安装，只需要在现有的节点上执行脚本即可完成。
CRS软件的安装用户必须使用grid user，在10g里面还需要将CRS软件的home目录属性修改为grid的，使用完成后，在修改成root用户的。
以下为执行脚本的具体命令格式：
/oracle/app/11g/oui/bin/addNode.sh -silent "CLUSTER_NEW_NODES={cluster3}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={cluster3-vip}"
命令里面只需要将两个option的值改成新节点主机就可以直接执行了，具体的过程可以参考文档后面的附件一。
根据提示执行root.sh脚本将新节点加入到CRS中去，执行完成后就可以使用crs_stat –t命令查看新节点的crs状态了，root.sh脚本执行情况查阅文档后面的附件二。
2. ORACLE数据库软件的扩展
使用oracle用户登录，执行以下脚本，该脚本能够将RAC群集节点上正常节点上的所有软件包远程拷贝到新节点上，无需做其他任何多余操作。
$ /oracle/app/oracle/product/11.2.0/dbhome_1/oui/bin/addNode.sh
该脚本运行过程可查阅附件三。
3. DBCA创建cluster实例
当CRS和ORACLE数据库软件扩展到新节点后，crs_stat –t 显示三个节点都正常后，就可以直接使用dbca来创建第三个节点上的数据库实例了，这步骤就比较简单了，但需要注意的时候，dbca图形界面启动后，一定要选择 instance manager，后面选择add instance，后面就是next即可。
