节点被驱逐后应优先分析ocssd.log,重点检查CRS-1611(75%心跳丢失)、CRS-1610(90%丢失)、CRS-1607(正式驱逐)是否密集递进出现;多节点同步发生指向网络抖动,单节点独发则聚焦本端物理层异常。

直接看 ocssd.log 里的 CRS-1611/1610/1607 三连报错
节点被驱逐后,alert.log 和 crsd.log 只记录结果(比如 “Reconfiguration started”),不体现心跳断在哪一环;真正做驱逐决策的是 ocssd.bin 进程,它的全部判断依据都在 /oracle/11.2.0/grid/log/<hostname>/cssd/ocssd.log</hostname> 里。
必须搜索这三类错误,并确认它们是否在时间上密集、递进出现:
-
CRS-1611:75% 心跳未收到,后面带的时间值(如in 6.512 seconds)越小,说明网络恢复窗口越窄 -
CRS-1610:90% 心跳丢失,集群已进入驱逐倒计时,开始准备投票 -
CRS-1607:明确写Node <n> is being evicted</n>,是正式驱逐动作
如果多个节点在同一分钟内都打出这三连报错,基本可排除单点故障,直接指向底层网络抖动;若仅节点 A 报 CRS-1612: this node was evicted by node X,而节点 X 的 ocssd.log 里没有对应 CRS-1610,那大概率是节点 A 自身收包异常(网卡丢包、中断风暴),不是对端问题。
别被 CRS-1611 单独出现带偏节奏
CRS-1611 单独出现、很快恢复,说明只是瞬时抖动,不构成驱逐条件;反复出现“CRS-1611 → CRS-1610 → CRS-1607”闭环,才必须深挖。
此时不能急着调 _gc_affinity_time 或改 misscount,先做底层验证:
- 跑
ethtool -S eth2 | grep -E "(rx_discards|rx_errors|tx_aborted_errors)"——只要非零,就是驱动、交换机 QoS 或物理链路问题 - 用
ping -c 100 -i 0.1看延迟分布:>5ms的包占比超过 5%,GC 等待就会明显上扬 - 检查是否私网 IP 被占用:
arping -I eth2 -c 3,若收到非本机响应,说明 IP 冲突——这是 11gR2 常见重启诱因 - 确认网卡绑定模式:
cat /proc/net/bonding/bond0,mode=1(active-backup)下主备切换失败也会导致心跳断
区分网络心跳和磁盘心跳的线索
网络心跳由 ocssd.bin 每秒主动发包,超 misscount(默认 30 秒)未收到即触发告警链;磁盘心跳也由它定期写入 voting disk,但日志中不显式打印 “disk heartbeat lost”。
需交叉判断:
- 如果
ocssd.log里CRS-1611伴随CRS-1614(磁盘 I/O 超时),优先查 ASM diskgroup 状态、多路径健康、存储链路或 voting disk 所在 LUN 的响应延迟 - 若只有
CRS-1611,没后续CRS-1610/1607,且磁盘路径(ls -l /dev/oracleasm/disks/)和crsctl query css votedisk都正常,则问题几乎一定在私网
为什么不能只依赖 olsnodes -n -i -s 或 crsctl check cluster -all
这些命令返回的是“当前状态”,不是“故障发生时的状态”。节点被驱逐后可能已自动重启并重新加入集群,此时 olsnodes 显示所有节点在线,crsctl check cluster -all 返回 SUCCESS,完全掩盖了真实问题。
必须结合时间戳回溯:
- 先从
ocssd.log中找到CRS-1607时间点(例如2026-10-25 14:22:18.123) - 再去同一节点的
/oracle/11.2.0/grid/log/<hostname>/client/</hostname>下找sqlnet.log或crsctl.log,确认该时刻前后是否有连接中断记录 - 最后比对其他节点同时间段的
ocssd.log,看是否同步出现告警——不同步则本端问题,同步则网络或共享存储共性问题
真正容易被忽略的是:ocssd.log 默认只保留最近 10 个滚动文件,驱逐发生后若未及时归档,关键日志可能已被覆盖;建议在集群稳定期就配置 logrotate 或定时 cp 到安全路径。


















