讲师中心 微信公众号
AI工具推荐 视频效率加速

Linux进程异常终止排查_信号机制分析【技巧】

浅静同学_1444

浅静同学_1444

发布时间:2026-01-06 19:31:02

|

484人浏览过

|

来源于php中文网

原创

进程被 kill -9 杀掉后找不到日志,因为 SIGKILL 不可捕获,进程立即终止且不执行任何清理逻辑;需排查 oom_killer、容器运行时、人为 kill 或 systemd 超时等来源。

linux进程异常终止排查_信号机制分析【技巧】

进程被 kill -9 杀掉后为什么找不到日志?

因为 SIGKILL(信号 9)无法被捕获、阻塞或忽略,进程在收到该信号后立刻终止,连清理逻辑(比如写日志、关闭文件描述符)都不会执行。所以你查 systemd 日志、应用自身日志、甚至 strace 跟踪都看不到“主动退出”痕迹。

真正要查的不是“它怎么退出”,而是“谁发了 SIGKILL”。常见来源有:

  • oom_killer:内存耗尽时内核主动干掉进程,会在 dmesg 中留下记录,关键词是 Out of memory: Kill process
  • 容器运行时(如 dockerd 或 containerd)因内存 limit 触发 OOM,也会走内核 oom_killer 流程
  • 人为执行了 kill -9,但没留操作记录;可检查 auditd 日志(/var/log/audit/audit.log)中 SYSCALL arch=c000003e syscall=62 success=yes(对应 kill 系统调用)
  • systemd 的 TimeoutStopSec 超时后 fallback 到 SIGKILL,此时 journalctl -u xxx.service 会显示 Stopping timed out. Killing.

如何确认是不是 oom_killer 干的?

直接看内核环形缓冲区:

dmesg -T | grep -i "killed process"

注意时间戳是否与进程终止时间吻合。如果匹配,你会看到类似:

[Wed Jun 12 14:22:35 2024] Out of memory: Kill process 12345 (python3) score 892 or sacrifice child

关键字段解释:

  • score 是 oom_score,数值越高越可能被选中;可通过 cat /proc/12345/oom_score 查看当前值
  • sacrifice child 表示杀的是子进程而非主进程,说明父进程还在,但某个子任务吃光了内存
  • 该日志只存在于内核 log,不会进 journald,也不会写入任何用户空间日志文件

进程收到 SIGTERM 却没响应?检查 signal handler 是否被覆盖

很多程序用 signal() 或 sigaction() 注册 SIGTERM 处理函数,但第三方库(尤其是 C 扩展或嵌入式运行时)可能重置信号行为。典型表现是:手动 kill <pid></pid> 后进程卡住不退出。

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限

下载

验证方式:

  • 用 strace -p <pid> -e trace=signal</pid> 观察是否收到 SIGTERM,以及是否调用了 rt_sigaction 设置 handler
  • 检查进程是否屏蔽了 SIGTERM:cat /proc/<pid>/status | grep SigBlk</pid>,输出是十六进制掩码,需转换——SIGTERM 对应 bit 15(从 0 开始计),若该位为 1 则被屏蔽
  • Python 进程尤其容易出问题:若主线程已退出,而子线程仍在运行且未设 daemon=True,SIGTERM 可能无法触发 atexit 或 signal.signal() 注册的回调

用 strace 捕获信号传递全过程

strace 是唯一能在用户态看到“信号到达→处理→返回”的工具,但默认不显示信号细节。正确用法是:

strace -e trace=signal,process -f -p <pid>

其中:

  • signal 跟踪 kill、sigreturn、rt_sigprocmask 等信号相关系统调用
  • process 跟踪 fork、execve、exit_group,便于关联父子进程行为
  • -f 必须加,否则子线程/子进程的信号事件看不到

典型输出片段:

--- SIGTERM {si_signo=SIGTERM, si_code=SI_USER, si_pid=1001, si_uid=0} ---
rt_sigreturn({mask=[]}) = 0
exit_group(143)                     = ?

这表示进程收到了用户态发起的 SIGTERM,执行了信号返回,然后调用 exit_group 正常退出。如果只有第一行而没有后续,说明 handler 没有调用 exit 或被阻塞了。

信号调试最难的一点:它发生在内核和用户栈交界处,既不能靠源码断点(handler 可能不在你的代码里),也不能靠日志(log 写入本身可能被信号中断)。必须用 strace 或 perf trace -e syscalls:sys_enter_kill 这类内核级观测手段。

热门AI工具

更多
PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

相关专题

更多
堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

6187

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2608

2023.08.10

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4418

2023.08.10

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4250

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3593

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2833

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

6950

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

6602

2023.07.06

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

0

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn