NCCL比Gloo快，因其让GPU显存直连、不经过CPU，而Gloo默认绕道主机内存，多出至少3次拷贝和CPU调度开销；NCCL专为NVIDIA硬件拓扑设计，支持NVLink/RDMA直传与动态算法选择，Gloo则是通用跨平台库。
NCCL为什么比Gloo快：GPU显存直连不走CPU
因为NCCL让GPU直接对话，Gloo默认绕道CPU内存。当你调用dist.all_reduce()时，NCCL会跳过主机内存，用NVLink或RDMA在GPU显存之间直接搬运数据；而Gloo通常走“显存→主存→网卡→主存→显存”路径，多出至少3次拷贝和CPU调度开销。
这不是配置问题，是设计哲学差异：NCCL是为NVIDIA GPU硬件拓扑量身写的，Gloo是通用跨平台库。
- 同一台机器上4张A100（NVLink直连）：NCCL AllReduce吞吐可达200 GB/s，Gloo通常不到60 GB/s
- 跨节点训练时，NCCL自动启用GPUDirect RDMA，Gloo仍依赖TCP/IP栈和CPU中转
- NCCL能感知PCIe层级、NUMA节点、NVLink拓扑，动态选Ring/Tree算法；Gloo基本无视这些
PyTorch里启用NCCL只需一行，但前提是环境得对
dist.init_process_group(backend='nccl')这行代码本身不慢，慢的是它背后加载失败或降级——比如你装了CUDA 12.1但NCCL版本是2.10，或者libnccl.so根本不在LD_LIBRARY_PATH里。
常见掉坑点：
立即学习“Python免费学习笔记（深入）”；
- 镜像没预装NCCL：用
pytorch/pytorch:2.3.0-cuda12.1-cudnn8-runtime这类官方镜像，NCCL已内置；自己从源码编译PyTorch容易漏掉NCCL支持 - CUDA与NCCL版本不匹配：NCCL 2.19+要求CUDA 12.0+，旧版NCCL可能无法识别H100的Transformer Engine特性
- 没绑GPU：
model.cuda(rank)必须带rank，否则所有进程挤在device 0，NCCL通信退化成单卡空转
不是所有场景都该用NCCL
如果你的训练任务跑在非NVIDIA GPU（如AMD MI300或Intel GPU），或者只有CPU资源，NCCL根本不可用——它压根不支持非NVIDIA硬件。这时候backend='gloo'是唯一选择。
另外，小模型+小batch训练时，通信占比低，NCCL优势不明显；反而Gloo启动更快、调试更友好（支持gdb断点进通信逻辑）。
- 纯CPU集群：只能用Gloo或MPI
- 混合设备（CPU+GPU）：Gloo可统一调度，NCCL只管GPU间通信
- 需要细粒度控制通信时机（比如自定义梯度同步节奏）：Gloo的
send/recv比NCCL的集体操作更灵活
验证NCCL是否真正在工作
别只看代码里写了backend='nccl'，得确认它没悄悄fallback。最简单的方法是在初始化后加一句：
print(dist.get_backend())
输出必须是'nccl'，而不是'gloo'或'mpi'。如果输出不对，检查NCCL_DEBUG=INFO环境变量，启动时会打印实际加载的后端和失败原因。
真正关键的是观察通信耗时占比：用torch.cuda.Event测dist.all_reduce()耗时，若占单步训练时间超30%，说明NCCL虽在运行，但你的网络拓扑或batch size可能没配好——这时候优化方向不是换后端，而是调NCCL_IB_DISABLE或增大NCCL_MIN_NRINGS。
