Linux内核触发OOM Killer是内存严重不足时的保底机制,通过dmesg或journalctl确认“Killed process”日志,结合/proc/meminfo中Committed_AS与CommitLimit对比、smem分析PSS、slabtop排查内核对象泄漏,可精准定位内存疯长根源。

当系统突然终止某个关键服务,且控制台或日志中出现“Out of memory: Kill process”字样时,说明Linux内核已触发OOM Killer机制强制结束进程。这不是偶然故障,而是内存压力达到临界点后内核的保底行为,必须立即通过结构化路径还原现场、定位真凶、锁定根源。
确认是否真被OOM Killer干掉
先排除误判:进程退出未必是OOM,可能是主动退出、信号终止或超时崩溃。
执行 sudo dmesg -T | grep -i "killed process\|out of memory",必须看到含“Killed process”+进程名+PID+total-vm字段的完整行,才算实锤。
如果dmesg无输出,立刻查 journalctl:运行 sudo journalctl -k --no-pager | grep -i "oom\|kill process";仍为空则检查 /var/log/kern.log,部分云主机需向平台方索要hypervisor层日志。
【journal日志可能被轮转清空,boot过久或内核切换后旧OOM记录必然丢失】
看懂OOM日志里的三类关键信息
找到日志后,逐行提取以下三项:
① 时间戳与上下文:对照业务日志,确认OOM发生时刻是否有定时任务启动、流量洪峰或批量导入操作。
② “Killed process XXX (pid YYY)”行:记下进程名、PID、UID——注意,被杀的不一定是RSS最高的进程,而是oom_score综合分最高者。
③ “Mem-Info”快照段:重点看 Active(anon)(活跃匿名页,即进程堆/栈)、SwapCached(交换缓存)、PageTables(页表开销)数值。若 Active(anon) 接近 MemTotal 且 SwapFree 为0,基本锁定是进程堆内存失控;若 PageTables 异常高,则可能是进程创建了海量小对象或mmap区域碎片化严重。
分层验证真实内存压力来源
别只盯着 free -h 的 free 列——它小≠内存紧张,available 才是可用底线。
运行 cat /proc/meminfo | grep -E "(MemTotal|MemAvailable|Committed_AS|CommitLimit|SwapTotal|SwapFree)",重点关注 Committed_AS 是否逼近 CommitLimit。一旦超限,内核会拒绝新内存分配请求,OOM必发。
用 smem -w -k -c "pid user command pss uss" | head -15 替代 top,PSS比RSS更能反映进程实际占用,可识别共享库摊薄后的内存贡献。
对疑似进程,执行 cat /proc/PID/smaps | awk '/^Size:/ {sum+=$2} END {print sum/1024/1024 " MB"}' 对比 cat /proc/PID/status | grep VmRSS:若前者远大于后者,说明该进程申请了大量虚拟内存但未真正使用,典型如Java直接内存未释放、Python mmap大文件未unmap。
快速定位内存疯长的进程组
方法一:用 systemd cgroup 快速筛出高危组
执行 systemctl status --all --no-pager | grep -E "(memory.high|memory.max)",找出未设 MemoryMax= 或设得过高的服务单元。没有硬上限的cgroup就是OOM温床。
方法二:按 oom_score_adj 排序找“裸奔者”
运行 ps -eo pid,comm,%mem,rss,oom_score_adj --sort=-oom_score_adj | head -10,重点关注 oom_score_adj 为0且 %mem 持续爬升的进程——它没被保护,又在疯狂吃内存,就是OOM Killer的首选目标。
方法三:盯住 slab 分配器泄漏
执行 slabtop -o | head -15,观察 dentry、inode_cache、ext4_inode_cache 等字段。若某项持续增长不回落,说明内核对象泄漏,常见于挂载异常NFS、长期未清理的tmpfs或有bug的内核模块。


















