Oracle RAC私网高可用必须禁用Linux bonding,改用HAIP直管多物理接口:需配置同网段双网卡、oifcfg注册双接口、关闭NetworkManager、rp_filter设为2、私网选10.10.20.0/24等专用段,并交叉验证连通性与端口通信。

Oracle RAC私网心跳不能靠Linux bonding绑定多网卡来实现高可用——这是最常被误用、也最容易导致集群反复失败的配置方式。
为什么禁用bonding mode=1(active-backup)
很多人看到“双网卡冗余”就下意识配bond0,以为能提升私网可靠性。但RAC的HAIP机制和bonding在底层冲突:HAIP自己做链路探测、misscount超时、ARP通告和故障切换,而bonding的miimon探测(尤其设为≤100ms时)会干扰HAIP对链路状态的判断。结果就是crsctl stat res -t里ora.cluster_interconnect.haip状态飘忽不定,cvuqdisk校验失败率飙升,甚至出现节点无法加入集群。
实操建议:
- 物理私网网卡(如
eth2、eth3)保持独立,不创建bond0或teamd设备 - 若硬件强制要求bond(如某些刀片交换机),仅允许使用
mode=1,且必须关闭miimon,或设为≥100ms - 确认
/proc/sys/net/ipv4/conf/all/arp_ignore=1、/proc/sys/net/ipv4/conf/all/arp_announce=2,否则HAIP的ARP响应会被内核丢弃
正确做法:用oifcfg setif注册多接口 + HAIP自动接管
RAC私网高可用的唯一官方路径是让HAIP直管多个物理接口。它会在每个接口上动态生成一个169.254.x.x/16范围的虚拟IP(HAIP),并自动在链路失效时将流量切到存活接口,无需人工干预IP漂移。
操作步骤:
- 确保两张私网卡已配置同网段IP(如
eth2配10.10.20.10/24,eth3配10.10.20.11/24),但不要手动配第二个静态IP - 执行
oifcfg setif -global eth2/10.10.20.0:cluster_interconnect - 再执行
oifcfg setif -global eth3/10.10.20.0:cluster_interconnect - 停掉
NetworkManager服务(它会劫持HAIP的ARP通告):systemctl stop NetworkManager && systemctl disable NetworkManager - 重启GI:
crsctl stop has && crsctl start has - 验证:
oifcfg getif应显示两行;ifconfig | grep -A2 haip能看到类似eth2:1或eth3:1带HAIP地址的别名
rp_filter必须设为2,不是0也不是1
多私网网卡环境下,Linux默认的rp_filter=1(严格反向路径检查)会导致从eth2进来的HAIP包,因回包路径走eth3而被内核丢弃——表现为节点间UDP 12599端口不通、CSSD启动失败、crs-4678错误。
正确配置:
- 对每个私网接口单独设:
echo 2 > /proc/sys/net/ipv4/conf/eth2/rp_filter、echo 2 > /proc/sys/net/ipv4/conf/eth3/rp_filter - 同时设全局:
echo 2 > /proc/sys/net/ipv4/conf/all/rp_filter - 写入
/etc/sysctl.conf持久化:net.ipv4.conf.eth2.rp_filter = 2、net.ipv4.conf.eth3.rp_filter = 2、net.ipv4.conf.all.rp_filter = 2 - 注意:设为0虽能通,但绕过所有路径验证,不符合生产安全基线;设为1必断
私网IP网段选错会直接导致OCR/Voting Disk识别失败
私网不能用192.168.1.0/24这种常见办公网段——如果OCR盘是NFS挂载,而NFS服务器IP恰好落在同一网段,集群启动时会把OCR识别成私网设备,触发ora-15018或crs-4678。更隐蔽的是169.254.0.0/16,RHEL 7+默认禁用该网段ARP响应,oifcfg getif可能根本识别不到接口。
安全选择:
- 优先用
10.0.0.0/8中未被业务占用的子网,例如10.10.20.0/24(避开办公网段10.1.0.0/16) - 次选用
172.16.0.0/12中的空闲段,如172.20.30.0/24 - 查OCR路径对应IP:
ocrcheck -config看Device/File Name,再用df -h查挂载点IP;ASM磁盘则用asmcmd lsdg和ls -l /dev/oracleasm/disks/反推后端存储IP
真正麻烦的从来不是配多少张网卡,而是HAIP、rp_filter、OCR网段三者之间的隐式耦合——改一个参数,可能要连带验证另外两个是否还生效。上线前务必用ping -I eth2 -c3 10.10.20.11、nc -uz 10.10.20.11 12599、crsctl check cluster -all交叉验证,别只盯着ifconfig有没有IP。


















