缺页异常引发的卡顿源于minor/major fault慢路径,需用vmstat看pgmajflt、perf抓do_page_fault链路、/proc/PID/status查VmRSS/VmSize差值、tracepoint筛耗时>500μs事件来精准定位。

定位缺页异常引发的卡顿
程序响应变慢、P99延迟突增但CPU用户态占比不高,同时系统上下文切换未明显上升——这种典型卡顿模式往往藏在缺页异常的慢路径里,必须用内核级可观测工具穿透到minor/major fault的真实开销分布。
用vmstat看缺页总量与类型分布
执行 vmstat 1 每秒刷新一次,紧盯 si/so 和 pgpgin/pgpgout 列:si/so 非零说明正在换入换出,属于major fault;pgpgin持续上涨但si为0,大概率是文件页从page cache加载,属于minor fault;若 bi/bo 同时飙升而 pgpgin 几乎不动,要怀疑是THP折叠失败触发的反复拆页。
注意:vmstat不区分进程,只反映全局压力。当看到 pgmajflt(major fault)每秒超过500次,基本可判定有进程正密集触发磁盘I/O型缺页。
用perf精准捕获目标进程的缺页热点
第一步:获取进程PID,例如 pidof myapp;
第二步:运行 perf record -e page-faults,minor-faults,major-faults -p $PID -g -- sleep 30,采集30秒内该进程所有缺页事件及调用栈;
第三步:执行 perf report -F overhead,symbol,dso --no-children,重点观察 do_page_fault → handle_mm_fault → alloc_pages_node 这条路径的开销占比——如果这条链路占总采样数20%以上,说明缺页处理本身已成为延迟瓶颈,不是单纯内存不足,而是分配路径被阻塞(如内存碎片、zoned DMA32耗尽)。
这一步操作起来很简单,直接把perf命令复制粘贴执行就行。但要注意:不要用 -a 全局采集,否则大量无关中断会淹没目标进程信号;必须绑定具体PID。
用/proc/PID/status和pmap交叉验证内存映射状态
方法一:检查 cat /proc/$PID/status | grep -E "VmRSS|VmSize|MMUPageSize",若 VmRSS 远小于 VmSize(比如差1GB以上),而 MMUPageSize 显示为4kB,说明进程存在大量已映射但未访问的虚拟内存,首次访问必触发缺页;
方法二:运行 pmap -x $PID | grep -E "anon|stack|heap",观察 [anon] 段的 Rss 是否为0但 Size 很大——这是延迟分配的铁证,后续任意 memset 或 malloc 后首次写入都会同步触发缺页;
方法三:用 cat /proc/$PID/smaps_rollup | grep "MMU.*PageSize" 确认是否启用THP,若 PreferredPageSize 是2MB但 AnonHugePages 为0,说明THP被禁用或分配失败,所有匿名页都走4kB慢路径。
用tracepoint实时观测单次缺页耗时
第一步:启用内核tracepoint:echo 1 > /sys/kernel/debug/tracing/events/mm/mm_page_fault/enable;
第二步:过滤目标进程:echo $PID > /sys/kernel/debug/tracing/set_ftrace_pid;
第三步:开启跟踪并抓取高耗时样本:echo 1 > /sys/kernel/debug/tracing/tracing_on && sleep 10 && echo 0 > /sys/kernel/debug/tracing/tracing_on;
第四步:查看结果:cat /sys/kernel/debug/tracing/trace | awk '$11 > 500000 {print}',筛选出耗时超500微秒的缺页事件——这类事件极可能是同步内存回收、swap读取或NUMA远端页迁移导致,必须立即干预。
注意:trace目录默认可能未挂载,需先执行 mount -t debugfs none /sys/kernel/debug


















