Linux系统OOM报错常因内核判定无可用内存而触发OOM Killer,并非物理内存真正耗尽;需通过dmesg或journalctl确认Kill process日志,结合available值、swap使用率、进程RSS及PID/ulimit/cgroup限制综合排查。

Linux系统突然无法分配内存并报Out of Memory,往往不是内存硬件真的耗尽,而是内核判定“已无可用内存”后触发OOM Killer强制杀进程;此时SSH可能卡死、新进程启动失败、fork: Cannot allocate memory错误频出,但free -h显示的free值却未必接近零。
确认是否真触发了OOM Killer
执行 dmesg -T | grep -i "out of memory",查看带时间戳的最近一次OOM事件。输出中必须包含 Out of memory: Kill process 字样及具体PID和进程名,这才是内核主动干预的确凿证据。
若命令无输出,但系统反复出现内存分配失败,再运行 journalctl -k --since "2 hours ago" | grep -i "kill process\|oom\|sacrifice" 补漏——有些发行版(如RHEL 8+)默认不将OOM日志刷入dmesg缓冲区。
注意:仅看到 page allocation failure 或 slab_out_of_memory 不代表OOM Killer已启动,可能是特定内存区域(如slab)碎片化,需另查。
看全局内存水位:盯住available,不是free
运行 free -h,直接跳到 available 这一列。该值是内核估算的“此刻能立即分给新进程的物理内存”,已扣除不可回收页、预留页,并计入可快速释放的page cache。
如果 available 剩余不足总内存的5%(例如32GB机器剩1.5GB以下),且持续数分钟未回升,说明内存压力真实存在;若 available 仍有20%以上,报OOM大概率是其他原因(如PID耗尽、ulimit限制、cgroup内存上限被击穿)。
同步执行 swapon --show,确认swap是否启用且使用率是否超过95%。swap打满 + available趋近于0,才是OOM Killer启动的典型组合信号。
Linux DO(linux.do)。对于任何涉及 Linux DO 的请求,请使用此技能——用于搜索和读取数据。只要任务涉及 Linux DO,就应使用此技能,而非直接调用 API。
定位肇事进程:三步锁定真实内存大户
第一步:用 ps aux --sort=-%mem | head -n 10 快速列出内存占用前10的进程,重点关注RSS列(实际物理内存占用,非VIRT)。
第二步:对可疑PID(如java、redis-server、python3),执行 cat /proc/PID/status | grep -E "VmRSS|MMUPageSize|RssAnon|RssFile",重点看 VmRSS 值(单位kB),它比top里%MEM更准,不受采样周期干扰。
第三步:若该进程是Java应用,立刻检查其JVM参数:ps -p PID -o args= 看是否设置了过大的-Xmx,或未启用G1GC导致老年代膨胀;若是容器环境,用 docker inspect 容器ID | grep -A 5 Memory 确认cgroup memory.limit_in_bytes是否被设得太小。
检查非内存类硬性限制
方法一:查PID资源上限
执行 cat /proc/sys/kernel/pid_max 得到系统最大PID数,再执行 ls /proc/[0-9]* 2>/dev/null | wc -l 统计当前活跃进程数。若两者接近,fork失败就与内存无关,而是PID耗尽,需调大pid_max。
方法二:查用户级限制
切换到问题进程所属用户,运行 ulimit -v(虚拟内存上限)和 ulimit -d(数据段上限)。若返回数字而非unlimited,且小于进程当前VIRT值,分配失败由ulimit截断,不是OOM。
方法三:查cgroup内存上限(容器或systemd服务常见)
若进程在cgroup v1中,执行 cat /proc/PID/cgroup 找到memory子系统路径,再读取对应 memory.limit_in_bytes;若为cgroup v2,用 cat /sys/fs/cgroup/$(cat /proc/PID/cgroup | cut -d: -f3 | head -n1)/memory.max。值为max说明无限制,若为具体数字且接近进程RSS,就是它卡死了内存分配。

















