讲师中心 微信公众号

工具推荐

视频效率加速
AniShort
AniShort

AI短剧协同制作平台

剧云
剧云

中文短剧剧本制作平台

Laper
Laper

剧本策划到成片协作

立刻MV
立刻MV

低成本歌曲 MV、视频生成

linux怎么排查系统出现kernel: BUG: soft lockup CPU stuck

冬磊同学_1509

冬磊同学_1509

发布时间:2026-11-22 09:08:19

|

163人浏览过

|

来源于php中文网

原创

软锁死已真实发生:dmesg密集报错且watchdog_thresh=20、nmi_watchdog=1启用;需立即用dmesg提取卡死进程PID,结合ps查资源占用,若为kworker等内核线程则转向驱动/硬件排查,并通过调高阈值、禁用可疑模块、修正BIOS设置及更新固件内核实施缓解与修复。

linux怎么排查系统出现kernel: bug: soft lockup cpu stuck

当系统日志中持续出现 kernel: BUG: soft lockup - CPU#X stuck for Ys! [process_name:PID] 报错,说明某个 CPU 核心已被特定进程或内核路径长时间独占,内核调度器无法接管,服务器开始响应迟缓、SSH卡顿、服务无响应——这不是应用层报错,而是内核级软锁死,必须立即介入排查。

确认软锁死是否真实发生

先排除日志误报或瞬时抖动:运行 dmesg -T | grep -i "soft lockup" | tail -n 10,检查时间戳是否密集(如 2 分钟内出现 ≥3 次);若仅单次且间隔超 1 小时,可能是 GC、大页回收等临时阻塞,暂不需深度干预。

执行 cat /proc/sys/kernel/watchdog_thresh,确认当前阈值。默认为 20,即卡死超 20 秒才报警;若被人为调高至 60,则实际卡死已非常严重。

【关键前提】确保 /proc/sys/kernel/nmi_watchdog 值为 1(启用),否则该告警根本不会产生。值为 0 表示看门狗已关闭,此时看到的“soft lockup”日志必为历史残留或虚假日志。

定位卡死源头进程

第一步:提取最近一次卡死的完整上下文

运行 dmesg -T | grep -A5 -B5 "soft lockup",重点捕获方括号内的进程名和 PID,例如 [kworker/u8:4:12345] 或 [java:6789]。注意:方括号里不是命令名而是 comm 字段,可能被截断(如 mysqld 显示为 mysqld...),需结合 PID 查真身。

第二步:查 PID 对应的真实进程与资源占用

执行 ps -o pid,comm,args,%cpu,%mem,stime -p 6789(将 6789 替换为实际 PID),观察其 CPU 占用是否长期 >90%、启动时间是否早于卡死时间、args 是否含可疑参数(如 Java 的 -XX:+UseParallelGC 在单核机上易引发自旋)。

第三步:若进程名为 kworker、migration、rcu_preempt 等内核线程,说明问题不在用户空间——直接跳转到「排查内核模块与硬件」环节,不要浪费时间杀进程。

排查内核模块与硬件

方法一:快速筛查可疑驱动

运行 lsmod | awk '$3 > 10000 {print $1,$3}' | sort -k2 -nr | head -n 10,列出内存占用 Top 10 的模块。重点关注名称含 nvme、i915、r8169、vmw_(VMware)、vbox(VirtualBox)的模块,这些在 IO 高压或虚拟化场景下极易引发自旋锁超时。

方法二:检查硬件中断分布

oo-linux-do
oo-linux-do

Linux DO(linux.do)。对于任何涉及 Linux DO 的请求,请使用此技能——用于搜索和读取数据。只要任务涉及 Linux DO,就应使用此技能,而非直接调用 API。

下载

执行 cat /proc/interrupts | awk 'NR==1 || $1 ~ /CPU/ {print} NR>1 && $1 !~ /CPU/ {sum=0; for(i=2;i1000000) print $1, sum}' | sort -k2 -nr,找出中断计数异常高的设备编号(如 IO-APIC 16)。再用 lspci -vv -s 0000:00:1f.2 | grep -A10 "Interrupt:"(替换为实际设备地址)确认是否为 SATA/NVMe 控制器——这类设备固件 bug 是软锁死高频原因。

方法三:验证是否由内存压力触发 stop_machine

运行 dmesg -T | grep -E "(oom-killer|stop_machine|migration)" | tail -n 20,若发现 soft lockup 与 Killed process xxx 日志在秒级内交替出现,且卡死进程是 migration/X,则基本锁定为 cgroup 内存超限导致 stop_machine 死锁,【此时禁用 swap 并收紧 memory.limit_in_bytes 是比重启更有效的急救手段】。

紧急缓解与永久修复

① 临时提高容忍阈值(仅用于争取排查时间):

执行 echo 30 | sudo tee /proc/sys/kernel/watchdog_thresh,将软锁死报警阈值从 20 秒放宽至 30 秒。这不能解决问题,但可避免因瞬时负载 spike 导致的频繁告警干扰判断。

② 禁用非必要内核模块(需 root 权限):

若上一步确认 nvme 模块高度可疑,先尝试卸载:sudo modprobe -r nvme_core && sudo modprobe -r nvme。注意:此操作会立即断开所有 NVMe 盘,仅限测试环境或有 RAID 冗余的生产环境慎用。

③ 关键 BIOS 设置修正:

重启进 BIOS,关闭 Intel C-State(尤其 C6/C7)和 Spread Spectrum。这两项在超频或供电不稳服务器上极易诱发 CPU 计时器漂移,导致 watchdog 计时失准并误报软锁死。保存后冷启动生效。

④ 更新固件与内核:

访问服务器厂商官网,下载最新 BMC、RAID 卡、NVMe SSD 固件并刷新;同时升级内核至 LTS 版本(如 6.6.x 或 6.11.x),避开已知 softlockup 补丁缺陷(如 6.1.22 中的 i915 自旋锁优化未合入主干)。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

笔灵降AI

一款AI论文写作工具,主要用于论文降AI神器,适配知网及维普!一键降至安全线,100%保留原文格式;无口语化问题,文风更学术,降后字数控制最佳!,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4710

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3913

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

3293

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

8190

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

7802

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4413

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

3885

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

4139

2023.07.25

Navicat创建数据库教程
Navicat创建数据库教程

本专题整理Navicat创建数据库相关教程,介绍新建前的准备、基础设置和创建后的检查方法。内容兼顾入门学习及实际使用需求,帮助用户了解不同数据库类型下的操作差异,为后续建表、保存数据和日常管理提供参考。

0

2026.11.20

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Navicat 18 Linux 用户手册
Navicat 18 Linux 用户手册

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn