讲师中心 微信公众号
AI工具推荐 视频效率加速

如何排查Oracle12c RAC在VMware环境下的假死现象

阿婷同学_8468

阿婷同学_8468

发布时间:2026-09-14 10:52:16

|

206人浏览过

|

来源于php中文网

原创

Oracle 12c RAC在VMware中“假死”是因CSSD心跳卡住而非网络物理中断,表现为crsctl check cluster仍SUCCESS但业务不可用;根本原因是VMware资源争用(未设CPU/内存预留、启用Memory Hot Add、e1000e驱动等)导致CSSD线程调度延迟或UDP收包失败,使集群无法触发真实驱逐。

如何排查oracle12c rac在vmware环境下的假死现象

Oracle 12c RAC 在 VMware 中“假死”——不是进程挂了,而是 CSSD 心跳卡住、节点没驱逐但已失联,最典型表现是 crsctl check cluster 仍返回 SUCCESS,但客户端连不上 VIP、srvctl status service 显示服务异常、ocssd.log 里大量 “missed heartbeat” 却无节点重启。

为什么 VMware 下容易出现“假死”而非真驱逐

真实驱逐需要 CSSD 连续错过 misscount × missinterval(默认 30 秒)的心跳包,但 VMware 环境下常卡在“半死”状态:网卡 ethtool eth0 显示 Link detected: yes,CSSD 认为链路正常,却因 CPU 抢占、内存气球回收或虚拟网卡驱动延迟,收不到远端 UDP 心跳包。此时集群状态未降级,VIP 不漂移,服务不 failover,但业务已中断。

常见诱因包括:

  • VMware 虚拟机未设置 CPU / 内存 Reservation,宿主机资源争用时 CSSD 线程被调度延迟超过 500ms
  • 启用了 Memory Hot Add,干扰 Linux NUMA 绑定,导致 ASM 实例无法稳定访问本地内存节点
  • 私网使用 e1000e 驱动而非 vmxnet3,UDP 小包处理效率低,gc cr block busy 等待事件飙升
  • ESXi 主机 BIOS 中未启用 Intel VT-x/EPT,Cache Fusion 流量被迫走软件模拟,CPU 使用率持续 >90%

如何确认是不是 CSSD 心跳卡住而非网络物理中断

别只看 ifconfigip link show ——它们只反映链路层状态。关键要看 CSSD 是否实际收到了心跳:

Agent Git Oracle
Agent Git Oracle

高级仓库分析与重构指南。基于AI推理识别技术债务与架构反模式。

下载
  • $GRID_HOME/log/<hostname>/cssd/ocssd.log,搜索 missed heartbeat,注意时间戳是否密集连续(如每秒一条),而非偶发
  • 执行 crsctl get node role,若返回 hubolsnodes -s 显示另一节点为 unreachable,说明角色同步已断
  • 运行 strace -p $(pgrep ocssd) -e trace=recvfrom,sendto -s 1024 -o /tmp/cssd_net.log,观察是否有 recvfrom 调用长时间阻塞或超时
  • 对比 date; cat /proc/net/udp | grep :3075(默认 CSSD 端口),看 rx_queue 值是否持续 >1000,表明内核接收队列堆积

VMware 侧必须检查的三项配置

这些配置错误不会报错,但会让 RAC 在高负载下进入“亚健康”状态:

  • CPU Reservation = CPU CountMemory Reservation = Memory Size(例如 8 vCPU / 16GB → 预留也设为 8 / 16),禁用所有“限制”和“份额”策略
  • 虚拟机设置中关闭 Memory Hot Add,并在 RHEL 侧验证:cat /sys/devices/system/node/node*/meminfo | grep MemTotal,确保各 NUMA 节点内存值稳定不跳变
  • 私网网卡驱动强制设为 vmxnet3,并在 ESXi 主机上启用 Net.TcpipHeapMax(建议值 134217728)以扩大 TCP/IP 栈缓冲区

快速验证与临时缓解手段

假死发生后,不要立刻 reboot —— 先尝试定位和缓解:

  • 在疑似卡住节点执行:crsctl stop res ora.cssd -f && crsctl start res ora.cssd,观察是否能重建心跳(比整机重启快 3 分钟)
  • 临时提升 CSSD 超时容忍度:crsctl set css votedisktimeout 60(仅限紧急恢复,非长期方案)
  • 检查 VMware Tools 版本,必须 ≥11.3.5;旧版存在 vmtoolsdocssd 争抢 CPU 的已知 Bug
  • 若使用共享存储,确认 disk.EnableUUID="TRUE" 已写入 .vmx 文件 —— UUID 错乱会导致 ASM disk discovery 失败,间接拖慢 CSSD 初始化

真正棘手的是那些没有明显日志报错、crsctl check cluster 一切正常的“静默卡顿”,往往要结合 ESXi 主机的 esxtop(看 %RDY 和 %MLMTD)与 RAC 节点的 top -H -p $(pgrep ocssd)(看单线程 CPU 占用)交叉比对才能揪出根因。

热门AI工具

更多
Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

相关专题

更多
oracle清空表数据
oracle清空表数据

当表中的数据不需要时,则应该删除该数据并释放所占用的空间。本专题为大家提供oracle清空表数据的相关文章,帮助大家解决该问题。

821

2023.08.16

Oracle中declare的使用
Oracle中declare的使用

Oracle DECLARE语句是PL/SQL编程语言中用于声明变量、常量、游标或异常的关键字。它的主要作用是在程序中定义这些对象,以便在后续的代码中使用。DECLARE语句的语法简单明了,可以根据需要声明多个对象。通过使用这些声明的对象,可以进行各种操作,如计算、查询数据库、处理异常等 。

2213

2023.09.15

oracle怎么分页
oracle怎么分页

实现分页的步骤:1、使用ROWNUM进行分页查询;2、在执行查询之前进行设置分页参数;3、使用"COUNT(*)"函数来获取总行数,并使用"CEIL"函数来向上取整计算总页数;4、在外部查询中使用"WHERE"子句来筛选出特定的行号范围,以实现分页查询。想了解更多oracle怎么分页的文章,可以来阅读本专题先的文章。

2250

2023.09.18

Oracle查看表操作历史记录
Oracle查看表操作历史记录

查看操作历史记录的方法:1、使用Oracle内置的审计功能,可以记录数据库中发生的各种操作,包括登录、DDL语句、DML语句等;2、使用Oracle日志文件,其中包含了数据库中发生的各种操作,可以通过查看日志文件来获取操作历史记录;3、使用Oracle的Flashback功能,可以查看数据库在某个时间点的操作历史记录;4、使用第三方工具等。本专题还提供其他查看表操作的文章,大家可以免费阅读。

1309

2023.09.19

Oracle中RAC的用法
Oracle中RAC的用法

Oracle中RAC的用法:1、通过在多个服务器上运行数据库实例来提供高可用性;2、允许在需要时增加或减少节点数量;3、通过将工作负载分布到多个节点上来实现负载均衡;4、使用共享存储来实现多个节点之间的数据共享;5、允许多个节点同时处理数据库请求,从而实现并行处理;6、提供了透明故障切换功能;7、使用了一些技术来确保数据的一致性;8、提供了管理工具来简化RAC环境的管理和维护。本专题还提供RAC相关的其他文章,大家可以免费阅读。

1873

2023.09.19

oracle imp
oracle imp

imp是Oracle数据库中的一个命令行工具,用于将导出的数据和对象从一个数据库实例导入到另一个数据库实例。imp命令的一般语法为“imp username/password@connect_string file=file_name [options]”。

2429

2023.09.19

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4009

2023.11.02

oracle通配符有哪些
oracle通配符有哪些

oracle通配符有“%”、“_”、“[]”和“[^]"。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

237

2023.11.08

Conan私有仓库搭建教程
Conan私有仓库搭建教程

本专题系统的讲解Conan私有仓库的搭建流程,涵盖仓库服务部署、存储目录配置、用户认证、权限划分和远程地址添加,并介绍内部C++依赖包的上传、下载及版本维护方法。

0

2026.09.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn