子网掩码是32位二进制数,用于划分IP地址的网络部分和主机部分,其中连续1表示网络位、连续0表示主机位;其核心作用是确定网络边界、支持IP地址分配、提升网络性能与安全性。

直接配 128 位掩码不现实,也容易出错。128 核服务器(尤其是双路/四路 NUMA 架构)的关键不是“填满所有位”,而是按物理拓扑分组绑定、避开超线程争抢、对齐网卡中断。手动指定掩码只在特定场景必要,比如需严格控制跨 NUMA 访存或调试锁竞争,否则强烈推荐用 auto 模式。
确认真实 CPU 拓扑和逻辑核数
先别写配置,跑两行命令看清楚硬件实际结构:
-
nproc—— 看当前系统识别的逻辑 CPU 总数(可能是 128,也可能是 64 或 256,取决于 BIOS 是否开启超线程) -
lscpu | grep -E "(CPU\(s\)|NUMA|Thread|Core|Socket)"—— 查清是单路/双路/四路、每路几核几线程、NUMA 节点数、是否启用 SMT -
cat /sys/devices/system/node/—— 列出 NUMA node 数量(如 node0–node3),每个 node 下的cpu*/topology/core_id可定位物理核归属
例如:双路 64 核(每路 32 物理核 + HT 开启 → 共 128 逻辑核),通常有 2 个 NUMA 节点,每个节点含 64 个逻辑 CPU(编号 0–63 和 64–127)。这时盲目写 128 组 128 位掩码毫无意义,反而导致跨 NUMA 访存激增。
手动掩码的合理写法与常见误区
若确需手动指定(如测试某 32 核子集、或屏蔽部分核心做隔离),注意三点:
- 位数必须严格等于逻辑 CPU 总数:128 核就写 128 位二进制,不能少也不能多;每组掩码长度一致,用空格分隔
- 优先绑定物理核,跳过超线程伙伴:假设物理核 0 对应逻辑 CPU 0 和 64(HT 配对),那就只用 000…0001(第 0 位为 1)和 000…0001auto 0000...ffff 限定范围
-
worker_processes 必须 ≤ 掩码组数:设
worker_processes 32,就只提供 32 组掩码,每组对应一个 worker;不要写 128 组却只起 4 个进程,多余掩码被忽略
示例(双路 128 逻辑核,只启用第一路 64 核中的前 32 个物理核):
worker_processes 32;worker_cpu_affinity auto 00000000000000000000000000000000ffffffff000000000000000000000000;
这里 auto 启动自动分配,后接 128 位十六进制掩码(共 32 字节),ffffffff 占 32 位 → 对应逻辑 CPU 0–31,确保所有 worker 都落在 node0 的低区物理核上。
必须同步调优的配套项(比掩码本身更重要)
光绑 CPU 核远远不够,128 核下瓶颈常在其他环节:
-
关闭 accept 锁:
accept_mutex off;(Nginx ≥ 1.11.3 默认已关,但需确认) -
开启批量接受连接:
multi_accept on;,避免每个新连接都触发一次事件唤醒 -
调高连接上限并匹配系统限制:
worker_connections 65535;,同时执行ulimit -n 1048576并写入/etc/security/limits.conf,内核参数fs.file-max = 2097152 -
网卡中断亲和性对齐:用
ethtool -l eth0查队列数,用echo $mask > /proc/irq/$irq/smp_affinity_list把每个 RX 队列绑到和 Nginx worker 相同的 NUMA 节点内核心(如 worker 在 node0 的 0–31,就把前 32 个队列绑过去) -
禁用 irqbalance 干扰:在 EulerOS/CentOS 等系统中,
systemctl stop irqbalance && echo 'IRQBALANCE_ARGS="--hintpolicy=ignore"' > /etc/sysconfig/irqbalance,防止它把中断乱迁
验证是否真正生效
启动后立刻检查,别等压测完才看:
-
ps -eo pid,args,psr | grep nginx | grep -v grep | head -n 10—— 看各 worker 的 PSR(运行核号)是否分散且符合预期(如全在 0–31) -
taskset -cp $(pgrep -f "nginx: worker") | head -n 5—— 确认每个进程允许运行的 CPU 列表是否精确匹配你设定的掩码 -
numastat -p $(pgrep -f "nginx: worker" | head -1)—— 查看内存分配是否集中在本地 NUMA node(重点看numa_hit占比,应 >95%)
如果 PSR 列全是同一个数字,或 taskset 显示允许所有核,说明配置未加载或被覆盖(检查是否写在 events/http 块内——必须放在最外层全局块)。

















