安装rac可以说是一个大工程，下面待我慢慢道来。
遇到了太多的坑，这里作为回忆吧。
不要指望一次性就能装成功，或多或少会遇到问题，不要着急，一个一个的消灭的。
安装顺序如下：
架构说明如下：
一、安装前准备工作
1）安装环境介绍
Centos6.6 X86_64 两台内存至少4G
Oracle Database 12.1.0.2.0
采用ASM 存储方式
备注：oracle 12c 不支持32 位的环境
2）数据库安装软件下载
请在Oracle 官方网站下载：
linuxamd64_12c_grid_1of2;
linuxamd64_12c_grid_2of2;
linuxamd64_12c_database_1of2
linuxamd64_12c_database_2of2
下载地址：
http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html
二、 Oracle12c RAC数据库安装环境配置
1）安装主机或虚拟机（略）
2）安装操作系统（略）
rac1 192.168.56.72
rac2 192.168.56.73
3）安装相关依赖包
yum install -y binutils compat-libcap1 compat-libstdc++-33 compat-libstdc++-33.i686 gcc gcc-c++ glibc glibc.i686 glibc-devel glibc-devel.i686 ksh
yum install -y libgcc libgcc.i686 libstdc++ libstdc++.i686 libstdc++-devel libstdc++-devel.i686 libaio libaio.i686 libaio-devel libaio-devel.i686 libXext libXext.i686
yum install -y libXtst libXtst.i686 libX11 libX11.i686 libXau libXau.i686 libxcb libxcb.i686 libXi libXi.i686 make sysstat unixODBC unixODBC-devel
4）添加组和用户
在两个节点增加用户与组：
/usr/sbin/groupadd -g 60001 oinstall
/usr/sbin/groupadd -g 60002 dba
/usr/sbin/groupadd -g 60003 oper
/usr/sbin/groupadd -g 60004 backupdba
/usr/sbin/groupadd -g 60005 dgdba
/usr/sbin/groupadd -g 60006 kmdba
/usr/sbin/groupadd -g 60007 asmdba
/usr/sbin/groupadd -g 60008 asmoper
/usr/sbin/groupadd -g 60009 asmadmin
/usr/sbin/useradd -u 61001 -g oinstall -G asmadmin,asmdba,dba,asmoper grid
/usr/sbin/useradd -u 61002 -g oinstall -G dba,backupdba,dgdba,kmdba,asmadmin oracle
Oracle11gR2 RAC任务角色划分系统权限组,用户和目录详解（http://blog.csdn.net/staricqxyz/article/details/8313937）
5）添加文件系统
在两个节点完成：
创建/oracle 用以存放oracle 和grid
创建/soft 用于存放安装的文件
mkdir -p /oracle/app/grid
mkdir -p /oracle/app/12.1.0.2/grid
chown -R grid:oinstall /oracle
mkdir -p /oracle/app/oraInventory
chown -R grid:oinstall /oracle/app/oraInventory
mkdir -p /oracle/app/oracle
chown -R oracle:oinstall /oracle/app/oracle
chmod -R 775 /oracle
修改用户密码：
passwd grid
passwd oracle
登陆测试（必须做），分别用oracle,grid 用户通过ssh 登录，按提示修改密码
6）修改操作系统参数
在两个节点完成：
1、修改/etc/security/limits.conf 文件，增加内容如下：
vi /etc/security/limits.conf
#ORACLE SETTING
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
grid soft stack 10240
grid hard stack 32768
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft stack 10240
oracle hard stack 32768
上述配置说明参考 http://www.2cto.com/os/201309/246305.html
2、修改/etc/security/limits.d/90-nproc.conf 文件内容
这步是个修改操作
将源文件中
* soft nproc 1024
修改为
* - nproc 16384
RHE6及以后 nproc的修改在/etc/security/limits.d/90-nproc.conf中
3、禁用selinux ， iptables
为什么要禁用你懂得。
方法 # vi /etc/selinux/config SELINUX=disabled
# service iptables stop
# chkconfig iptables off
4、修改/etc/pam.d/login 文件
vi /etc/pam.d/login
#ORACLE SETTING
session required pam_limits.so
这个是作为用户登录认证功能 ，配置说明参考 http://blog.sina.com.cn/s/blog_605f5b4f01013l9s.html
5、修改sysctl.conf 配置文件
# vi /etc/sysctl.conf
#ORACLE SETTING
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586
让配置生效：
sysctl -p
这个是针对系统级别核心参数调整，可以提高Linux系统性能，配置说明参考http://www.jianshu.com/p/9a8e383b5b49
6、shm 的修改
这里需要普及下什么是shm ？什么swap？参考 http://blog.csdn.net/siyanyanyanyai/article/details/42145705
shm文件常驻在内存中，swap是临时区域，可当作内存使用。
使用 df -h 查看下自己系统有无tmfs ， 有的话下面配置就不用关注了。
------------------------------------------------------------------------------------------------------------
1）/dev/shm 共享内存不足的处理
解决方法：
例如：为了将/dev/shm 的大小增加到1GB，修改/etc/fstab 的这行：
默认的：
none /dev/shm tmpfs defaults 0 0
改成：
none /dev/shm tmpfs defaults,size=2048m 0 0
size 参数也可以用G 作单位：size＝2G。
重新mount /dev/shm 使之生效：
# mount -o remount /dev/shm
或者：
# umount /dev/shm
# mount -a
马上可以用"df -h"命令检查变化。
---------------------------------------------------------------------------------------------------
7、配置grid和oracle用户的环境变量（配置在两个节点）
在两个节点编辑操作系统用户home 目录下的.profile 文件
---------------------------------------------------------------------------------------------------------------
节点一：
grid 用户的环境变量如下：
su - grid
vi .bash_profile
PS1="[`whoami`@`hostname`:"'$PWD]$'
export PS1
umask 022
alias sqlplus="rlwrap sqlplus"
export TMP=/tmp
export LANG=en_US
export TMPDIR=$TMP
export ORACLE_HOSTNAME=rac1
ORACLE_SID=+ASM1; export ORACLE_SID
ORACLE_TERM=xterm; export ORACLE_TERM
ORACLE_BASE=/oracle/app/grid; export ORACLE_BASE
ORACLE_HOME=/oracle/app/12.1.0.2/grid; export ORACLE_HOME
NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"; export NLS_DATE_FORMAT
PATH=.:$PATH:$HOME/bin:$ORACLE_HOME/bin; export PATH
THREADS_FLAG=native; export THREADS_FLAG
if [ $USER = "oracle" ] || [ $USER = "grid" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
umask 022
fi
source .bash_profile
-----------------------------------------------------------------------------------------
oracle 用户的环境变量如下：
su - oracle
vi .bash_profile
PS1="[`whoami`@`hostname`:"'$PWD]$'
alias sqlplus="rlwrap sqlplus"
alias rman="rlwrap rman"
export PS1
export TMP=/tmp
export LANG=en_US
export TMPDIR=$TMP
export ORACLE_HOSTNAME=rac1
export ORACLE_UNQNAME=rac121
ORACLE_BASE=/oracle/app/oracle; export ORACLE_BASE
ORACLE_HOME=$ORACLE_BASE/product/12.1.0.2/db_1; export ORACLE_HOME
ORACLE_SID=rac121; export ORACLE_SID
ORACLE_TERM=xterm; export ORACLE_TERM
NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"; export NLS_DATE_FORMAT
NLS_LANG=AMERICAN_AMERICA.ZHS16GBK;export NLS_LANG
PATH=.:$PATH:$HOME/bin:$ORACLE_BASE/product/12.1.0.2/db_1/bin:$ORACLE_HOME/bin;
export PATH
THREADS_FLAG=native; export THREADS_FLAG
if [ $USER = "oracle" ] || [ $USER = "grid" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
umask 022
fi
source .bash_profile
-------------------------------------------------------------------------------------
节点二：
grid 的环境变量
su - grid
vi .bash_profile
PS1="[`whoami`@`hostname`:"'$PWD]$'
export PS1
umask 022
alias sqlplus="rlwrap sqlplus"
export TMP=/tmp
export LANG=en_US
export TMPDIR=$TMP
export ORACLE_HOSTNAME=rac2
ORACLE_SID=+ASM2; export ORACLE_SID
ORACLE_TERM=xterm; export ORACLE_TERM
ORACLE_BASE=/oracle/app/grid; export ORACLE_BASE
ORACLE_HOME=/oracle/app/12.1.0.2/grid; export ORACLE_HOME
NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"; export NLS_DATE_FORMAT
PATH=.:$PATH:$HOME/bin:$ORACLE_HOME/bin; export PATH
THREADS_FLAG=native; export THREADS_FLAG
if [ $USER = "oracle" ] || [ $USER = "grid" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
umask 022
fi
source .bash_profile
--------------------------------------------------------------------------------------------------------
su - oracle
vi .bash_profile
PS1="[`whoami`@`hostname`:"'$PWD]$'
alias sqlplus="rlwrap sqlplus"
alias rman="rlwrap rman"
export PS1
export TMP=/tmp
export LANG=en_US
export TMPDIR=$TMP
export ORACLE_HOSTNAME=rac2
export ORACLE_UNQNAME=rac122
ORACLE_BASE=/oracle/app/oracle; export ORACLE_BASE
ORACLE_HOME=$ORACLE_BASE/product/12.1.0.2/db_1; export ORACLE_HOME
ORACLE_SID=rac122; export ORACLE_SID
ORACLE_TERM=xterm; export ORACLE_TERM
NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"; export NLS_DATE_FORMAT
NLS_LANG=AMERICAN_AMERICA.ZHS16GBK;export NLS_LANG
PATH=.:$PATH:$HOME/bin:$ORACLE_BASE/product/12.1.0.2/db_1/bin:$ORACLE_HOME/bin;
export PATH
THREADS_FLAG=native; export THREADS_FLAG
if [ $USER = "oracle" ] || [ $USER = "grid" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
umask 022
fi
source .bash_profile
-----------------------------------------------------------------------------------------------------------
8、配置SSH信任关系 ， 建议这种方式作为备用，往下看有个好方法。
配置信任关系
设置SSH，
1).在主节点RAC1 上以grid,oracle 用户身份生成用户的公匙和私匙
# su - oracle
$ mkdir ~/.ssh
$ ssh-keygen -t rsa
$ ssh-keygen -t dsa
# su - grid
$ mkdir ~/.ssh
$ ssh-keygen -t rsa
$ ssh-keygen -t dsa
2).在副节点RAC2 上执行相同的操作，确保通信无阻
# su - oracle
$ mkdir ~/.ssh
$ ssh-keygen -t rsa
$ ssh-keygen -t dsa
# su - grid
$ mkdir ~/.ssh
$ ssh-keygen -t rsa
$ ssh-keygen -t dsa
3).在主节点RAC1 上oracle用户执行以下操作
$ cat ~/.ssh/id_rsa.pub >> ./.ssh/authorized_keys
$ cat ~/.ssh/id_dsa.pub >> ./.ssh/authorized_keys
$ ssh 192.168.56.73 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ ssh 192.168.56.73 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ scp ~/.ssh/authorized_keys 192.168.56.73:~/.ssh/authorized_keys
在主节点RAC1 上grid用户执行以下操作
$ cat ~/.ssh/id_rsa.pub >> ./.ssh/authorized_keys
$ cat ~/.ssh/id_dsa.pub >> ./.ssh/authorized_keys
$ ssh 192.168.56.73 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ ssh 192.168.56.73 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ scp ~/.ssh/authorized_keys 192.168.56.73:~/.ssh/authorized_keys
4).在主节点RAC2 上oracle用户执行以下操作
$ cat ~/.ssh/id_rsa.pub >> ./.ssh/authorized_keys
$ cat ~/.ssh/id_dsa.pub >> ./.ssh/authorized_keys
$ ssh 192.168.56.72 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ ssh 192.168.56.72 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ scp ~/.ssh/authorized_keys 192.168.56.72:~/.ssh/authorized_keys
在主节点RAC2 上grid用户执行以下操作
$ cat ~/.ssh/id_rsa.pub >> ./.ssh/authorized_keys
$ cat ~/.ssh/id_dsa.pub >> ./.ssh/authorized_keys
$ ssh 192.168.56.72 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ ssh 192.168.56.72 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ scp ~/.ssh/authorized_keys 192.168.56.72:~/.ssh/authorized_key
---------------------------------------------------------------------------------------------------------------------
安装文件里有现成的脚本
[grid@rac01:/home/grid/soft/grid/sshsetup]$./sshUserSetup.sh -user root -hosts "rac01 rac02" -advanced -exverify -confirm -noPromptPassphrase
5).主节点RAC1 上执行检验操作
$ ssh 192.168.56.73 date
6).在副节点RAC2 上执行检验操作
$ ssh 192.168.56.72 date
--------------------------------------------------------------------------------------------------------------
9、配置磁盘
冗余策略 |
卷划分及大小说明 |
|
OCRVOTING |
Ocrvoting01 sdb |
20G |
DATAFILE |
Data01 sdd |
200G |
FRA_ARCH |
Fra01 sde |
20G |
1） Voting Disk里面记录着节点成员的信息。
2）OCR 负责维护整个集群的配置信息，包括RAC以及Clusterware资源，包括的信息有节点成员、数据库、实例、服务、监听器、应用程序等。
3）FRA Flush recovery area 快速恢复区
详细说明如下
http://czmmiao.iteye.com/blog/1758360
http://ixdba.blog.51cto.com/2895551/862207
---------------------------------------------------------------------------------------------------------------------
三、磁盘配置
1、创建共享磁盘
这里重点注意了，我试了好几遍才成功，如果使用vmware做共享磁盘，没有办法实现存储的冗余，两个实例只能挂在一个共享的磁盘上，千万不要傻傻的在两台服务器上做共享磁盘，到最后只会是报错失败，这是我遇到的最大的坑。
共享磁盘的逻辑很简单，两台服务器同时关联同样的共享磁盘，然后使用ASMlib、RAW、UDEV随便哪种方式绑定磁盘（给磁盘打驱动），然后在单台设备上操作即可。
1）先用控制台登录到VMware ESXi 5,启用ssh远程登录，默认是禁用的。按F2登录进去，选择
Troubleshooting options -> Enable SSH
2）ssh登录，做如下操作
# cd /vmfs/volumes/datastore1
# mkdir sharestore
# cd sharestore
# vmkfstools -c 20g -a lsilogic -d eagerzeroedthick ocr_vote01.vmdk
# vmkfstools -c 200g -a lsilogic -d eagerzeroedthick asm_data01.vmdk
# vmkfstools -c 20g -a lsilogic -d eagerzeroedthick asm_fra01.vmdk
创建共享磁盘需要一定时间，特别是后面两个共享磁盘。
2.给虚拟机添加共享磁盘
遇到一个坑，虚拟机要求硬盘类型为厚置备置零！！
如果磁盘不是厚置备置零，只能重新做了。
停掉两个虚拟机，然后给每个节点按以下步骤添加共享磁盘:
选中虚拟机->点右键->编辑设置->添加
设备类型：硬盘
选择磁盘：使用现有虚拟磁盘
选择现有磁盘：磁盘文件路径为:[datastore1] sharestore/ocr_vote01.vmdk
高级选项：虚拟节点 SCSI(1:0),模式：独立打上钩，选择持久
即将完成：完成
然后依次添加asm_data01.vmdk，在高级选择中选择虚拟节点为 SCSI(1:1)
添加asm_fra01.vmdk，在高级选择中选择虚拟节点为 SCSI(1:2)
添加 ocr_vote01.vmdk，在高级选择中选择虚拟节点为 SCSI(1:3)
最后在选中“SCSI控制器”，然后在右边选择SCSI总线共享为：虚拟
最后做一下检查，确保两个节点中虚拟节点一一对应，然后启动两个虚拟机,用以下命令查看刚才加的共享磁盘。
# fdisk -l
3、使用UDEV配置asm磁盘
由于ASMlib管理磁盘也有缺点，因这次使用系统自带的udev来管理磁盘。网上有文章说在装一套RAC测试环境，结果发现原来用ASMLIB来配置磁盘，在安装GRID的时候，最终报错了，经过检查发现居然两边的磁盘不匹配。A机的sdb，sdc分别对应OCRVOL1,OCRVOL2，但是B机却反过来了，导致最终B机没有成功。磁盘时通过ISCSI共享过来的，本来想通过指定认盘顺序的方式让两边能够认出序号一样的盘，结果折腾了好久死活两边的盘序都是不一样的。因此，决定换一种方式来做，用UDEV来进行设备绑定，这样应该就不会受到盘序的影响了。
1）用udev来固定共享磁盘名和更所所有者
检查是否安装udev
# rpm -qa|grep udev
udev-095-14.21.el5
2）在系统上执行以下命令,找出scsi的id号
#/sbin/scsi_id -g -u -d /dev/sdb
3）把磁盘配置为 udev设备并且赋予 grid属性
vi /etc/udev/rules.d/99-oracle-asmdevices.rules
KERNEL=="sdb", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36000c29a206f9c0ff78ea1f8b17f4c68", NAME="asm-diskb", OWNER="grid", GROUP="asmadmin", MODE="0660"
4）重启UDEV
/sbin/udevadm control --reload-rules
start_udev
遇到的报错处理：
Starting udev: udevd[9139]: GOTO 'pulseaudio_check_usb' has no matching label in: '/lib/udev/rules.d/90-pulseaudio.rules'
处理方案http://blog.itpub.net/25116248/viewspace-1471867/
5) 验证asm disk生成
查询asm磁盘是否生成
#cd /dev
#ls –l asm*
[root@rac2 dev]# ls -l asm*
brw-rw---- 1 grid asmadmin 8,17 Feb 22 06:35 asm-disk1
brw-rw---- 1 grid asmadmin 8,33 Feb 22 06:35 asm-disk2
6)修改磁盘属性
（1）修改磁盘属性
#echo deadline >/sys/block/sdb/queue/scheduler
#echo deadline > /sys/block/sdc/queue/scheduler
#echo deadline > /sys/block/sdd/queue/scheduler
（2）验证属性修改结果：
[root@rac1 dev]# more /sys/block/sdb/queue/scheduler
noop anticipatory [deadline]cfq
[root@rac1 dev]# more /sys/block/sdc/queue/scheduler
noop anticipatory [deadline]cfq
----------------------------------------------------------------------------------------------------------------------------------
四、安装GRID
这一步至关重要，因为这个安装失败，我重装了好几次。
有三个知识点先了解下。
1）什么grid？grid实际上是一个统称，cluster，asm等都包含于其中。
参考文章
http://blog.sina.com.cn/s/blog_3d2d79aa0100hp8s.html
http://blog.csdn.net/jx_jy/article/details/16982651
http://book.51cto.com/art/201208/353835.htm
2）使用到的IP进行说明：private-ip public-ip virtual-ip scan-ip
http://xjsunjie.blog.51cto.com/999372/1547128
3）什么是ASM
http://www.oracle.com/technetwork/cn/products/clustering/rac-wp-12c-1896129-zhs.pdf
http://wiki.jikexueyuan.com/project/oraclecluster/oracle-cluster-concept.html
下面开始装吧！
在两个节点上安装
rpm -ivh cvuqdisk-1.0.9-1.rpm
在单节点上压缩包上传至grid用户下，然后解压（步骤略）
linuxamd64_12102_grid_1of2.zip
linuxamd64_12102_grid_2of2.zip
./runInstaller
只需要在一个节点上安装grid就行了，没必要在第二个节点又安装一次，如果往已有的RAC里ADD NODE才需要在新节点上安装。
安装就是图形化，下一步下一步。
但是会遇到各种问题，每个人的问题还各不相同，因为是图形化，百度搜搜解决方案吧。
真倒霉，网卡序列也错乱，心伤了，慢慢折腾。
安装图片如下：
上图点击test，然后报错，困惑我太长时间了。
错误名称 RAC INS-06006 Passwordless SSH connectivity not set up between the following node(s)
解决方式，使用./sshUserSetup.sh -user root -hosts "rac01 rac02" -advanced -exverify -confirm -noPromptPassphrase进行互信，然后配置完重启设备。 再不行，就去抓日志 tail -f /oracle/app/oraInventory/logs/sshsetup1_2017-07-08_12-23-46AM.log tail -f installActions2017-07-08_12-23-46AM.log
脚本手动执行吧！
手动测试下：./runcluvfy.sh stage -post hwos -n orarac01,orarac02 -verbose
不得不感慨下，这些报错纠结了将近三天，网上搜了好久好久，有说装补丁的，补丁其实针对11g的；有说放弃自动安装root脚本，使用手工方式；也没有个所以然，真的想放弃这个版本了。
还是不行，无奈，我skip了。最后安装完，我查了下，全部都是ONLINE，其实到这里，我心里蛮忐忑的，往下装能不能成功？因为我上面遇到一个问题选择了跳过（无奈）。
这边就是我想说的，两台服务器必须得关联同样的共享磁盘，不是分别关联自己机器上的独立的共享磁盘。
四、asmca创建其它asmdiskgroup（单节点上操作）
五、database软件安装（单个节点都要装）
1）进入oracle用户，解压oracle压缩包
unzip linuxamd64_12102_database_1of2.zip
unzip linuxamd64_12102_database_2of2.zip
2）图形化安装，下一步下一步，步步要小心。
./runInstaller
----------------------------------------------------------------------------------------------------------------------------------------------------------
本文安装配置参考文章
http://blog.csdn.net/catontower/article/details/43019921
http://www.ithao123.cn/content-1912050.html
http://blog.csdn.net/mws1108/article/details/52816445
除了Oracle高可用之前，我再来引荐一下Oracle数据库的缓存软件，如果有需要的朋友可以参考如下资料：
https://wenku.baidu.com/view/f1585c01c281e53a5802ff23.html
http://blog.csdn.net/china_melancholy/article/details/6017483
https://wenku.baidu.com/view/1ac2d9da3c1ec5da51e27050.html
http://blog.sina.com.cn/s/blog_6d0021460101blyu.html
https://wenku.baidu.com/view/d6a82b8e9b89680203d8259f.html
