先用numactl --hardware确认NUMA节点数、CPU绑定关系及内存归属，再用numastat -p检查进程内存页分布，避免误将page fault或swap当作跨节点延迟；numactl --show可查当前shell默认策略。
用 numactl 和 numastat 快速确认 NUMA 节点拓扑与内存分布
不先看清节点数量、CPU 绑定关系和内存归属，直接测带宽延迟等于蒙眼调参。运行 numactl --hardware 输出各节点的 CPU 列表、本地内存大小和跨节点访问距离（Distance matrix），其中非对角线值越小通常表示延迟越低（但需结合实际测量验证）。numastat 可查进程当前在各节点分配/访问的内存页数，避免误把 page fault 或 swap 当作跨节点延迟——例如看到 numastat -p <pid></pid> 中 other_node 列持续增长，说明该进程正频繁触发远端内存分配。
- Linux 内核需启用
CONFIG_NUMA（主流发行版默认开启） -
numactl --show查当前 shell 的默认节点策略（如preferred会优先在单节点分配，掩盖跨节点行为） - 若
numactl --hardware显示所有 Distance 值相同（如全为 10），可能是 BIOS 关闭了 NUMA 或启用了 memory mirroring，此时测出的“跨节点”数据实际无意义
用 libnuma + 自定义访存循环测节点间延迟
标准库没有现成的跨节点延迟函数，得手动控制内存分配位置和访问路径。核心是：在节点 A 分配内存 → 用节点 B 的 CPU 执行访存 → 测 rdtsc 或 clock_gettime(CLOCK_MONOTONIC) 时间差。关键陷阱在于编译时必须链接 -lnuma，且运行时需用 numactl --cpunodebind=B --membind=A 强制绑定，否则 malloc 可能落在当前 CPU 所在节点，导致测的是本地延迟。
- 分配内存必须用
numa_alloc_onnode(size, node_id)，不能用malloc+migrate_pages()（后者不保证立即迁移物理页） - 访问循环要足够小（如单个
volatile int*指针解引用），避免编译器优化掉访存；加asm volatile("" ::: "memory")防重排 - 重复测量 10000+ 次取中位数，因为单次
rdtsc受乱序执行、TLB miss 干扰极大
int *ptr = (int*)numa_alloc_onnode(4096, 0); // 节点 0 分配 *ptr = 1; numa_free(ptr, 4096); // 然后在绑核到节点 1 的线程里： uint64_t t0 = rdtsc(); volatile int x = *ptr; // 强制读取 uint64_t t1 = rdtsc();
用 mbw 或 stream 测跨节点内存带宽
测带宽比测延迟更依赖工具链稳定性。mbw（Memory Bandwidth Benchmark）支持指定源/目标节点：mbw -n 1000 -N 1 -B 0 -b 1048576 表示用节点 1 的 CPU 向节点 0 的内存写 1GB，-B 指定目标节点，-N 指定执行节点。注意它默认测 write-only，而真实负载常含 read-modify-write，所以建议额外跑 mbw -r（read）和 mbw -c（copy）对比。如果结果异常低（如不到标称带宽 30%），大概率是 PCIe 链路被其他设备占用或 BIOS 中关闭了 Node Interconnect。
-
stream需手动修改源码指定 NUMA 分配，不如mbw直接；其 Triad 测试隐含 cache line 复用，可能弱化跨节点差异 - 务必关闭 CPU 频率缩放：
echo performance | sudo tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor，否则动态降频会让带宽曲线抖动 - 用
perf stat -e cycles,instructions,cache-misses同时抓指标，若cache-misses占比 > 20%，说明 TLB 或 cache warmup 不足，数据不可靠
C++ 代码里绕不开的 set_mempolicy 和 mbind 细节
想在 C++ 运行时动态切内存策略，不能只靠 numactl 启动参数。比如实现一个跨节点通信缓冲区，需用 mbind 将已分配内存绑定到特定节点：mbind(ptr, size, MPOL_BIND, nodemask, maxnode+1, MPOL_MF_MOVE | MPOL_MF_STRICT)。这里 MPOL_MF_STRICT 是关键——没它，内核可能静默 fallback 到其他节点分配页，导致后续访问突然变慢且无提示。
立即学习“C++免费学习笔记（深入）”；
-
set_mempolicy(MPOL_INTERLEAVE, ...)适合读密集型随机访问，但会抹平节点差异，不适合测带宽延迟 - 调用
mbind前必须mlock(ptr, size)锁住内存，否则页可能被 swap out，绑定失效 - 错误码
EIO表示目标节点无可用内存，ENOMEM表示无法迁移已存在的页（此时需先madvise(ptr, size, MADV_DONTNEED)清空）
真正难的不是调哪个函数，而是理解“内存节点”和“CPU 节点”在硬件上未必一一对应——某些双路 Xeon 的 QPI 链路不对称，节点 0 访问节点 2 可能比访问节点 1 慢 40%，这种细节只能靠实测，文档从不写明。
