软锁死已真实发生:dmesg密集报错且watchdog_thresh=20、nmi_watchdog=1启用;需立即用dmesg提取卡死进程PID,结合ps查资源占用,若为kworker等内核线程则转向驱动/硬件排查,并通过调高阈值、禁用可疑模块、修正BIOS设置及更新固件内核实施缓解与修复。

当系统日志中持续出现 kernel: BUG: soft lockup - CPU#X stuck for Ys! [process_name:PID] 报错,说明某个 CPU 核心已被特定进程或内核路径长时间独占,内核调度器无法接管,服务器开始响应迟缓、SSH卡顿、服务无响应——这不是应用层报错,而是内核级软锁死,必须立即介入排查。
确认软锁死是否真实发生
先排除日志误报或瞬时抖动:运行 dmesg -T | grep -i "soft lockup" | tail -n 10,检查时间戳是否密集(如 2 分钟内出现 ≥3 次);若仅单次且间隔超 1 小时,可能是 GC、大页回收等临时阻塞,暂不需深度干预。
执行 cat /proc/sys/kernel/watchdog_thresh,确认当前阈值。默认为 20,即卡死超 20 秒才报警;若被人为调高至 60,则实际卡死已非常严重。
【关键前提】确保 /proc/sys/kernel/nmi_watchdog 值为 1(启用),否则该告警根本不会产生。值为 0 表示看门狗已关闭,此时看到的“soft lockup”日志必为历史残留或虚假日志。
定位卡死源头进程
第一步:提取最近一次卡死的完整上下文
运行 dmesg -T | grep -A5 -B5 "soft lockup",重点捕获方括号内的进程名和 PID,例如 [kworker/u8:4:12345] 或 [java:6789]。注意:方括号里不是命令名而是 comm 字段,可能被截断(如 mysqld 显示为 mysqld...),需结合 PID 查真身。
第二步:查 PID 对应的真实进程与资源占用
执行 ps -o pid,comm,args,%cpu,%mem,stime -p 6789(将 6789 替换为实际 PID),观察其 CPU 占用是否长期 >90%、启动时间是否早于卡死时间、args 是否含可疑参数(如 Java 的 -XX:+UseParallelGC 在单核机上易引发自旋)。
第三步:若进程名为 kworker、migration、rcu_preempt 等内核线程,说明问题不在用户空间——直接跳转到「排查内核模块与硬件」环节,不要浪费时间杀进程。
排查内核模块与硬件
方法一:快速筛查可疑驱动
运行 lsmod | awk '$3 > 10000 {print $1,$3}' | sort -k2 -nr | head -n 10,列出内存占用 Top 10 的模块。重点关注名称含 nvme、i915、r8169、vmw_(VMware)、vbox(VirtualBox)的模块,这些在 IO 高压或虚拟化场景下极易引发自旋锁超时。
方法二:检查硬件中断分布
Linux DO(linux.do)。对于任何涉及 Linux DO 的请求,请使用此技能——用于搜索和读取数据。只要任务涉及 Linux DO,就应使用此技能,而非直接调用 API。
执行 cat /proc/interrupts | awk 'NR==1 || $1 ~ /CPU/ {print} NR>1 && $1 !~ /CPU/ {sum=0; for(i=2;i1000000) print $1, sum}' | sort -k2 -nr,找出中断计数异常高的设备编号(如 IO-APIC 16)。再用 lspci -vv -s 0000:00:1f.2 | grep -A10 "Interrupt:"(替换为实际设备地址)确认是否为 SATA/NVMe 控制器——这类设备固件 bug 是软锁死高频原因。
方法三:验证是否由内存压力触发 stop_machine
运行 dmesg -T | grep -E "(oom-killer|stop_machine|migration)" | tail -n 20,若发现 soft lockup 与 Killed process xxx 日志在秒级内交替出现,且卡死进程是 migration/X,则基本锁定为 cgroup 内存超限导致 stop_machine 死锁,【此时禁用 swap 并收紧 memory.limit_in_bytes 是比重启更有效的急救手段】。
紧急缓解与永久修复
① 临时提高容忍阈值(仅用于争取排查时间):
执行 echo 30 | sudo tee /proc/sys/kernel/watchdog_thresh,将软锁死报警阈值从 20 秒放宽至 30 秒。这不能解决问题,但可避免因瞬时负载 spike 导致的频繁告警干扰判断。
② 禁用非必要内核模块(需 root 权限):
若上一步确认 nvme 模块高度可疑,先尝试卸载:sudo modprobe -r nvme_core && sudo modprobe -r nvme。注意:此操作会立即断开所有 NVMe 盘,仅限测试环境或有 RAID 冗余的生产环境慎用。
③ 关键 BIOS 设置修正:
重启进 BIOS,关闭 Intel C-State(尤其 C6/C7)和 Spread Spectrum。这两项在超频或供电不稳服务器上极易诱发 CPU 计时器漂移,导致 watchdog 计时失准并误报软锁死。保存后冷启动生效。
④ 更新固件与内核:
访问服务器厂商官网,下载最新 BMC、RAID 卡、NVMe SSD 固件并刷新;同时升级内核至 LTS 版本(如 6.6.x 或 6.11.x),避开已知 softlockup 补丁缺陷(如 6.1.22 中的 i915 自旋锁优化未合入主干)。

















