perf record -a 默认不推荐用于全系统热点定位,因其不记录内核栈、缺少调试符号、高采样率导致失真;必须加 --call-graph dwarf、-F 99、-e cycles,instructions,cache-misses 才可用。

直接用 perf record -a -g -- sleep N 就能采集全系统 CPU 热点,但默认采样会漏掉内核栈、无法解析符号、生成的火焰图宽泛无重点——关键不在“能不能”,而在“采什么、怎么采、怎么解”。
为什么 perf record -a 默认不推荐用于全系统热点定位
全系统采样(-a)看似全面,实际有三个硬伤:
- 默认不记录内核调用栈:
-g仅对用户态有效,内核函数(如ext4_write_inode、tcp_transmit_skb)会被截断为[unknown]或[k] xxx,无法下钻; - 缺少调试符号:未安装
kernel-debuginfo或对应-debuginfo包时,内核函数名显示为地址(如0xffffffff81123abc),火焰图里全是扁平色块; - 采样频率过高反而失真:默认 4000 Hz 在多核高负载下易丢样本,且大量中断处理函数(如
irq_handler_entry)被高频采到,掩盖真实业务热点。
perf record -a 必须加的关键参数
要让全系统火焰图真正可用,这三项缺一不可:
-
--call-graph dwarf:强制用 DWARF 信息还原完整调用链(含内核栈),代价是采样开销略增,但换来可读性; -
-F 99:固定 99 Hz 采样率,避开内核HZ节拍共振,比默认 4000 Hz 更稳定、更少噪声; -
-e cycles,instructions,cache-misses:显式指定事件组合,避免默认只采cycles导致内存/缓存瓶颈不可见(例如cache-misses高但cycles不高,说明是访存瓶颈而非计算瓶颈)。
完整命令示例:
sudo perf record -a -F 99 -e cycles,instructions,cache-misses --call-graph dwarf -- sleep 60
生成火焰图前必须做的符号修复
即使采样成功,perf script 输出里仍可能出现大量 [unknown] 或地址,原因不是 perf 问题,而是符号缺失:
- RHEL/CentOS:运行
sudo debuginfo-install kernel-$(uname -r)(需先配置debuginforepo); - Debian/Ubuntu:安装
linux-image-$(uname -r)-dbgsym,注意该包不在默认源,需手动添加http://archive.ubuntu.com/ubuntu/dists/$(lsb_release -sc)-updates/main/debug; - 验证是否生效:执行
sudo perf report -F overhead,symbol,dso,若内核函数名(如__do_softirq、cpuidle_enter_state)能正常显示,说明符号就位。
火焰图里最常被忽略的「假热点」识别法
全系统火焰图顶部常出现几个宽函数,但它们未必是瓶颈:
-
hrtimer_interrupt或apic_timer_interrupt占宽 → 实际是系统空闲或定时器密集,不是业务问题; -
page-fault相关函数(如handle_mm_fault)持续发热 → 可能是程序刚启动 mmap 大量内存,属一次性开销,看火焰图底部是否随时间收敛; - 所有线程都堆在
pthread_cond_wait或futex_wait_queue_me→ 说明系统大部分时间在等锁/IO,此时应切到perf record -e sched:sched_switch查调度延迟,而非盯着 CPU 火焰图。
真正的业务热点一定满足:横轴宽度大 + 出现在用户态函数栈底(如 my_app::process_request)+ 下方调用链稳定可复现。其他都是背景噪音,别花时间优化。


















