必须立即排查IpReasmFails、rx_discards和ocssd.log中CRS-1611三者同步增长:IpReasmFails持续上升表明RHEL 7+下IP分片重组失败,是心跳丢包主因;rx_discards非零指向驱动或物理层问题;CRS-1611密集出现(5分钟内≥3次且间隔<10秒)预示驱逐临近。

私网心跳丢包率高不是“网络有点慢”,而是CSSD已开始收不到有效UDP包,节点驱逐风险随时触发——必须立刻查IpReasmFails、rx_discards和ocssd.log里CRS-1611三者的同步增长关系。
盯死IpReasmFails是否在持续上涨
IP分片重组失败是RHEL 7+上RAC心跳丢包的头号隐形推手,尤其当MTU不一致或内核参数未调优时。它不报错,只默默丢包,直到节点被踢。
-
netstat -s | grep -i "ipreasmfails"每5秒采一次,若数值稳定不变可暂排除;若每分钟涨几十甚至上百,基本锁定分片问题 - 结合
cat /proc/net/snmp | grep -i "Ip:"看ReasmFails字段,确认是否为系统级累积值(非瞬时) - 注意:RHEL 7默认
net.ipv4.ipfrag_high_thresh仅262144字节,而RAC心跳大包频繁,极易溢出重组队列
检查网卡底层丢包指标:rx_discards和rx_errors
别只信ping通不通——ping走ICMP小包,RAC心跳走UDP大包,驱动层丢包对前者无感,对后者致命。
- 执行
ethtool -S eth1 | grep -E "(rx_discards|rx_errors|tx_aborted_errors)",只要任意值非零,说明链路已出问题 -
rx_discards高 = 驱动或网卡buffer满,常见于中断风暴或RSS配置不当;rx_errors高 = 物理层问题(线缆、光模块、交换机端口) - 用
arping -I eth1 -c 3 169.254.10.10测HAIP二层可达性,失败则立即查rp_filter(sysctl net.ipv4.conf.eth1.rp_filter必须为0或2)
确认ocssd.log中CRS-1611是否密集出现
CRS-1611不是警告,是心跳丢包的计时器读数——它后面跟着的“in X seconds”越小,网络恢复窗口越窄,离驱逐越近。
- 在
/u01/app/grid/log/<hostname>/cssd/ocssd.log</hostname>中搜CRS-1611,重点看时间戳密度:5分钟内出现3次以上,且每次间隔<10秒,必须停业务排查 - 若只有单节点报
CRS-1612(“this node was evicted by node X”),但对端没报CRS-1610,问题大概率在本节点收包路径(如网卡软中断绑定CPU不均) - 同时查
crsctl stat res -t -init,确认ora.cssd是否真ONLINE;若为INTERMEDIATE或OFFLINE,说明UDP通信层根本没起来
验证MTU是否全链路一致并禁用巨帧陷阱
一块网卡设mtu 9000,另一块留默认1500,握手包直接被静默丢弃——HAIP连初始化都过不去,更别说心跳了。
- 所有节点、所有私网网卡、所有接入交换机端口,MTU必须完全一致:统一用
ip link set dev eth1 mtu 1500,别碰jumbo frame - 用
ping -c 2 -M do -s 1472 <peer_private_ip></peer_private_ip>测试(1472 + 28 = 1500 IP头+ICMP头),成功才代表MTU通;-s 1473失败才正常 - 交换机侧必须关闭LLDP、STP收敛延迟、QoS限速;物理链路禁用自动协商(
ethtool -s eth1 speed 1000 duplex full autoneg off)
真正难处理的不是某条命令跑不通,而是IpReasmFails缓慢爬升、CRS-1611隔几分钟报一次、rx_discards每天涨几百——这种温水煮青蛙式恶化,最容易被当成“监控毛刺”忽略掉。


















