大厂OOM止血能力是崩溃前自动完成“双现场存留”：轻量级运行时快照（线程堆栈、内存指标）与完整堆转储；核心为三步不阻塞——监听日志/JMX预警、并行采集jstack与异步jmap、超时防护+流量摘除。

遇到OOM不能只等它发生再手忙脚乱——大厂真正可靠的止血能力，是让系统在崩溃前就自动完成“双现场存留”：一份轻量级运行时快照（如线程堆栈、内存指标），一份完整堆转储（heap dump）。关键不是事后分析，而是触发即捕获、捕获即隔离、隔离即可用。

一、自动诊断脚本的核心逻辑：三步不阻塞

脚本必须满足三个硬约束：不卡主业务线程、不依赖JVM已失稳状态、不因单点失败丢数据。典型实现结构如下：

• 监听层：用tail -f实时监控JVM日志（如gc.log或应用统一error日志），匹配java.lang.OutOfMemoryError或Full GC after高频关键词；也可通过JMX轮询java.lang:type=Memory的Usage.used阈值（如>95%）提前预警
• 采集层：检测到信号后，并行执行两项操作：
  ① 立即调用jstack -l {pid} > /log/oom_{ts}_thread.hprof（秒级完成，无GC停顿）
  ② 启动后台任务执行jmap -dump:format=b,file=/log/oom_{ts}_heap.hprof {pid}（耗时但异步，不阻塞主线程）
• 防护层：所有命令加超时控制（如timeout 30s jmap ...），失败则 fallback 到预设的-XX:+HeapDumpOnOutOfMemoryError兜底参数；同时自动触发流量摘除（调用注册中心API或Nginx upstream权重置0）

二、热备双现场的存储设计要点

“双现场”不是简单存两份文件，而是分层保障可用性：

• 第一现场（轻量级）：包含jstack输出、jstat -gc {pid}快照、当前系统负载（uptime）、线程数（ps -T -p {pid} | wc -l）。体积小（通常<1MB），可直接上传至对象存储并生成带时效的直链，供SRE手机端扫码查看
• 第二现场（重量级）：heap dump 文件。需配置独立磁盘路径（避免和应用日志共用IO）、启用压缩（jmap -dump:format=b,compressed=true,file=...）、自动校验MD5并上报至中央诊断平台。大厂通常要求2小时内完成上传+索引入库，支持按traceId、机器IP、OOM类型快速检索
• 防丢机制：脚本执行完毕后，向消息队列（如Kafka）发送结构化事件（含时间戳、pid、dump路径、异常类型），由下游服务校验文件完整性并触发告警；若10分钟内未收到成功标记，则自动重试或通知值班人

三、生产就绪的关键细节

很多团队脚本能跑通，但线上失效，往往栽在这些细节上：

• 权限隔离：脚本以应用同用户身份运行，避免jstack/jmap因权限不足失败；禁止root运行，防止误杀进程
• 资源节制：jmap默认使用大量堆外内存，加-J-Xmx512m限制其自身内存，防止诊断过程引发二次OOM
• 路径安全：dump路径禁用相对路径和~符号，统一用绝对路径（如/data/dump/），并确保目录存在、有写权限、inode充足（df -i检查）
• 版本兼容：OpenJDK 8/11/17 的jmap行为差异大（如17默认禁用jmap -histo），脚本需根据$JAVA_HOME/bin/java -version动态适配命令参数

四、验证与演练建议

不经过真实压测的OOM脚本等于没写：

• 用stress-ng --vm 2 --vm-bytes 3G模拟内存压力，或注入ThreadLocal泄漏代码，主动触发OOM
• 观察脚本是否在OOM日志打印后jmap卡死超过10秒
• 定期（如每月）执行“断网演练”：人工断开dump上传网络，验证本地落盘是否完整、fallback机制是否生效