ORACLE 11.2.0.4 RAC在 RHEL6.5使用udev和VMWARE12.0上安装记录

工欲善其事，必先利其器

0.概述

工艺：安装

口味：因人而异

难度：新手

烹饪时间：个把小时

资源分配

IP分配说明

IP 地址 主机名 用途

192.168.116.101 rac1 rac1-pub rac1管理IP
192.168.116.102 rac2 rac2-pub rac2管理IP
192.168.116.91 rac1-vip rac1上虚拟IP
192.168.116.92 rac2-vip rac2上虚拟IP
172.16.116.101 rac1-priv1 rac1上私有IP1
172.16.117.101 rac1-priv2 rac1上私有IP2
172.16.116.102 rac2-priv1 rac2上私有IP1
172.16.117.102 rac2-priv2 rac2上私有IP2
192.168.116.90 rac-scan SCAN-IP

IP地址均为24位，掩码255.255.255.0

拓扑说明

1.配料说明:

主料：你

辅料：

oracle 数据库软件 版本oracle 11.2.0.4

oracle infrastructure软件 版本oracle 11.2.0.4

RHEL 6.5 X86_64

Vmware workstation 12.0

2.烹饪步骤

2.1VMwatre虚拟机准备，提供虚拟硬件环境

新建rac1虚拟机，系统类型选择RHEL6.5 x86_64,磁盘大小60G

新建rac2虚拟机，系统类型选择RHEL6.5 x86_64,磁盘大小60G

使用命令行创建ocr 和 vote disk，这里使用3块1G磁盘

"D:\Program Files\VMWARE\vmware-vdiskmanager.exe" -c -s 1g -a lsilogic -t 2 F:\disk\ocr1.vmdk
"D:\Program Files\VMWARE\vmware-vdiskmanager.exe" -c -s 1g -a lsilogic -t 2 F:\disk\ocr2.vmdk
"D:\Program Files\VMWARE\vmware-vdiskmanager.exe" -c -s 1g -a lsilogic -t 2 F:\disk\ocr3.vmdk

创建共享数据磁盘，这里演示3块10G磁盘

"D:\Program Files\VMWARE\vmware-vdiskmanager.exe" -c -s 10gb -a lsilogic -t 2 F:\disk\disk01.vmdk
"D:\Program Files\VMWARE\vmware-vdiskmanager.exe" -c -s 10gb -a lsilogic -t 2 F:\disk\disk02.vmdk
"D:\Program Files\VMWARE\vmware-vdiskmanager.exe" -c -s 10gb -a lsilogic -t 2 F:\disk\disk03.vmdk

接下来编辑rac1，依次添加现有磁盘，rac2也是一样

磁盘添加完毕后，编辑rac1 和 rac2 的配置文件rac1.vmx 和rac2.vmx

添加如下参数

disk.locking = "false"
disk.EnableUUID="TRUE"

最后的样子是这样的，rac1 和rac2 的参数文件均包含这些参数，

scsi0:1.present = "TRUE"
scsi0:1.fileName = "F:\disk\ocr1.vmdk"
scsi0:2.present = "TRUE"
scsi0:2.fileName = "F:\disk\ocr2.vmdk"
scsi0:3.present = "TRUE"
scsi0:3.fileName = "F:\disk\ocr3.vmdk"
scsi0:4.present = "TRUE"
scsi0:4.fileName = "F:\disk\disk01.vmdk"
scsi0:5.present = "TRUE"
scsi0:5.fileName = "F:\disk\disk02.vmdk"
scsi0:6.present = "TRUE"
scsi0:6.fileName = "F:\disk\disk03.vmdk"
disk.locking = "false"
disk.EnableUUID="TRUE"

磁盘到这里准备完毕

下面还需要往每个虚拟机中添加2块虚拟网卡，此时每个虚拟机中有3块网卡，这里虚拟网卡都选择了net方式。

目前为止虚拟机环境准备完毕。

2.2安装操作系统，备置系统环境

RHEL6.5安装视频

链接: http://pan.baidu.com/s/1bnymhyf 密码: vydu

重启后，使用连接工具连接到操作系统，操作系统配置两台机器都需要修改

配置SElinux

vi /etc/selinux/config

SELINUX=disabled

关闭这些服务

chkconfig --level 2345 ip6tables off
chkconfig --level 2345 iptables off
chkconfig --level 2345 postfix off
chkconfig --level 2345 ntpd off

停止NTP，删除配置文件

service ntpd stop
rm /etc/ntp.conf

修改虚拟机配置，连接虚拟光驱，这里配置光盘数据为yum源

mount /dev/cdrom /mnt

创建yum

echo "[rhel-source]" > /etc/yum.repos.d/rhel-source.repo
echo "name=Red Hat Enterprise Linux $releasever - $basearch - Source" >> /etc/yum.repos.d/rhel-source.repo
echo "baseurl=file:///mnt/Server/" >> /etc/yum.repos.d/rhel-source.repo
echo "enabled=1" >> /etc/yum.repos.d/rhel-source.repo
echo "gpgcheck=0" >> /etc/yum.repos.d/rhel-source.repo

修改 hosts 文件

echo "192.168.116.101 rac1 rac1-pub" >> /etc/hosts
echo "192.168.116.102 rac2 rac2-pub" >> /etc/hosts
echo "192.168.116.91 rac1-vip" >> /etc/hosts
echo "192.168.116.92 rac2-vip" >> /etc/hosts
echo "172.16.116.101 rac1-priv1" >> /etc/hosts
echo "172.16.117.101 rac1-priv2" >> /etc/hosts
echo "172.16.116.102 rac2-priv1" >> /etc/hosts
echo "172.16.117.102 rac2-priv2" >> /etc/hosts
echo "192.168.116.90 rac-scan" >> /etc/hosts

cat /etc/hosts 检查是否正确

安装桌面

yum groupinstall Desktop

安装相关包

yum install -y binutils compat-libcap1 compat-libstdc++-33 gcc gcc-c++ \
glibc glibc-devel libgcc libstdc++ libstdc++-devel libaio libaio-devel make \
sysstat vsftpd unzip smartmontools.x86_64 elfutils-libelf-devel openssh-clients.x86_64 bind

重启一次操作系统

接下来添加用户，设置密码，更改配置文件

groupadd -g 800 oinstall
groupadd -g 801 dba
groupadd -g 802 oper
groupadd -g 803 asmadmin
groupadd -g 804 asmdba
groupadd -g 805 asmoper
useradd -g oinstall -G dba,oper,asmdba oracle
useradd -g oinstall -G asmadmin,asmdba,asmoper,dba grid

echo "oracle" | passwd --stdin oracle
echo "grid" | passwd --stdin grid

cat >> /etc/pam.d/login <<EOF
session required pam_limits.so
EOF

cat >> /etc/security/limits.conf <<EOF
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
EOF

创建本地oracle软件目录

mkdir -p /u01/app/grid
mkdir -p /u01/app/oracle
mkdir -p /u01/app/11.2.0/grid
chown -R grid:oinstall /u01
chown -R grid:oinstall /u01/app/grid
chown -R grid:oinstall /u01/app/11.2.0
chown -R oracle:oinstall /u01/app/oracle
chmod -R 775 /u01

 

修改grid用户环境变量

su - grid

vi .bash_profile

rac1

export ORACLE_SID=+ASM1
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin

rac2

export ORACLE_SID=+ASM2
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin

修改oracle用户环境变量

su - oracle

vi .bash_profile

rac1

export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=/u01/app/oracle/11.2.0/db
export ORACLE_SID=ora11g1
export PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin

rac2设置为

export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=/u01/app/oracle/11.2.0/db
export ORACLE_SID=ora11g2
export PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin

 

共享磁盘的设置

for i in b c d e f g;
do
echo "KERNEL==\"sd*\", BUS==\"scsi\", PROGRAM==\"/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/\$name\", RESULT==\"`/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/sd$i`\", NAME=\"asm-disk$i\", OWNER=\"grid\", GROUP=\"asmadmin\", MODE=\"0660\"" >> /etc/udev/rules.d/99-oracle-asmdevices.rules
done

start_udev

执行ls -al /dev/asm-dis* 查看是否配置正确，正确如下，

brw-rw---- 1 grid asmadmin 8, 16 Oct 13 15:02 /dev/asm-diskb
brw-rw---- 1 grid asmadmin 8, 32 Oct 13 15:02 /dev/asm-diskc
brw-rw---- 1 grid asmadmin 8, 48 Oct 13 15:02 /dev/asm-diskd
brw-rw---- 1 grid asmadmin 8, 64 Oct 13 15:02 /dev/asm-diske
brw-rw---- 1 grid asmadmin 8, 80 Oct 13 15:02 /dev/asm-diskf
brw-rw---- 1 grid asmadmin 8, 96 Oct 13 15:02 /dev/asm-diskg

如果不正确，要检查/etc/udev/rules.d/99-oracle-asmdevices.rules

更改dns解析相关配置

echo "options attempts:2" >>/etc/resolv.conf
echo "options timeout:1" >>/etc/resolv.conf

到此，操作系统配置完毕，以上系统工程师做好，一下DBA开始干活

2.3grid安装

sftp上传grid安装包

su - grid

解压后进行ssh等价配置

./sshUserSetup.sh  -user grid -hosts "rac1 rac2" -advanced -noPromptPassphrase

按提示输入密码配置完毕

进行安装前检查修复

./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -fixup -verbose

根据结果，root执行修复脚本

/tmp/CVU_11.2.0.4.0_grid/runfixup.sh

修复后执行安装

注意这里选择两个172.16网段的IP为私有网络IP，创建asm ocr时选择三块1G的盘做个normal redundancy就可以了

2.4数据库安装

上传数据库安装包并解压

建议先安装软件部分

在创建数据库

3.烹饪技巧

vmware-vdiskmanager.exe 参数区别,这里要指定为0，预分配空间。

-t [0|1|2|3]
你在创建一个新的虚拟磁盘或者重新配置一个虚拟磁盘时必须指定虚拟磁盘的类型。
#指定以下类型之一：
#0 —— 创建一个包含在单一虚拟文件中的可增长虚拟磁盘
#1 —— 创建一个被分割为每个文件2GB大小的可增长虚拟磁盘
#2 —— 创建一个包含在单一虚拟文件中的预分配虚拟磁盘
#3 —— 创建一个被分割为每个文件2GB大小的预分配虚拟磁盘