内核态CPU高（sy%>20%）需先确认是否真实异常，排除cgroup干扰；用mpstat、vmstat分析CPU不均衡与上下文切换；perf定位热点函数；strace查高频syscall；结合dmesg、/proc/interrupts排查中断绑定与驱动异常。
内核态 CPU 占用过高（sy% 持续 > 20% 或突增），在高并发场景下往往不是代码写错了，而是系统资源调度、中断处理或内核路径被高频触发的结果。这类问题容易被误判为“业务慢”，实际根因藏在用户不可见的内核空间里。
先看关键信号：top 中 %Cpu(s): us=15.2 sy=42.6 ... —— sy 明显压过 us；
同时 si%（软中断）也偏高（>10%），或 cs（上下文切换）数值飙升（vmstat 1 查看）；load average 高但 id% 不低，说明不是纯计算瓶颈，而是大量进程在等内核服务。
确认是内核态主导，排除干扰
别急着查代码，先锁定问题性质：
- 运行 vmstat 1 5，重点看 cs（context switch）和 in（interrupts）列：若 cs > 50k/s 且 in 同步升高，大概率是频繁调度或中断风暴
- 执行 cat /proc/interrupts，观察网卡 IRQ（如 eth0-TxRx-0）是否单个 CPU 上计数远超其他核——说明收包不均衡，软中断集中在某核
- 用 mpstat -P ALL 1 看各逻辑核的 %sys 分布：如果仅 1–2 核 sy% 超 60%，其余核 idle 很高，说明中断/软中断未分散
- 检查 iostat -x 1 的 %util 和 await：若磁盘无压力（%util
定位软中断热点（高并发最常见根因）
网络密集型服务（如 API 网关、Nginx、gRPC 服务）在连接数激增时，常因收包、定时器、workqueue 触发大量软中断，把 CPU 堵在内核态。
- 执行 cat /proc/softirqs，重点关注 NET_RX（网络收包）、NET_TX、TIMER、SCHED 几列：若 NET_RX 在故障窗口内增长速率是平时 5 倍以上，基本锁定网络路径
- 用 perf top -e 'irq:softirq_entry' -a（需 root）实时抓取软中断入口函数，看是否集中于 net_rx_action 或 __hrtimer_run_queues
- 检查网卡是否启用 RPS/RFS：cat /sys/class/net/eth0/queues/rx-0/rps_cpus，若为空或只绑单核，说明收包无法负载分摊
检查系统调用与内核锁争用
高并发下频繁系统调用（如 epoll_wait、write、close）或锁竞争（如 inode、dentry、tcp_sock 锁），也会抬高 sy%。
- 用 perf record -e 'syscalls:sys_enter_*' -a -g -- sleep 10 录制系统调用分布，再 perf report | head -20 查看 top 系统调用：若 sys_enter_epoll_wait 或 sys_enter_write 占比畸高，说明应用频繁进出内核
- 运行 perf record -e 'sched:sched_stat_sleep,sched:sched_stat_runtime' -a -- sleep 10，分析线程睡眠/运行时间比例：若大量线程 runtime 极短（
- 检查 /proc/sys/net/ipv4/tcp_tw_reuse 和 tcp_fin_timeout：若 TIME_WAIT 连接堆积，会持续占用 inet_timewait_sock 等内核结构，增加 timer 和内存管理开销
验证与临时缓解
找到线索后，优先做低风险验证，避免重启丢现场：
- 对网卡启用 RPS：echo f > /sys/class/net/eth0/queues/rx-0/rps_cpus（f 表示前 4 核），观察 sy% 是否下降
- 调整软中断亲和性：echo 1,2,4,8 > /proc/irq/xx/smp_affinity_list（xx 为对应网卡 IRQ 编号），把中断分散到多核
- 临时关闭非必要内核功能：echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore（若非必需 ARP 处理）
- 限制进程系统调用频率（仅测试）：prctl --set-no-new-privs --set-securebits 不适用，改用 cgroup v2 冻结可疑进程并对比 sy 变化
不复杂但容易忽略的是：内核态高 ≠ 一定要改内核参数。很多情况只需调整应用层行为（如减少短连接、合并小 write、用 SO_REUSEPORT 分散 listen socket），就能大幅降低内核路径调用频次。
