根本原因是未调用或错误调用 torch.distributed.init_process_group——必须在所有GPU模型封装前、每个进程仅一次执行，且需配NCCL后端、显式rank/world_size，并调用torch.cuda.set_device(rank)。
为什么 DistributedDataParallel 一跑就报错 RuntimeError: Default process group is not initialized
根本原因是没调用 torch.distributed.init_process_group，或者调用时机不对——它必须在所有 GPU 上的模型封装前执行，且每个进程只能初始化一次。常见踩坑点是：只在 rank 0 上初始化、在 if __name__ == '__main__' 外初始化、或用了 spawn 却漏传 rank 和 world_size。
实操建议：
- 用
torch.multiprocessing.spawn启动多进程，确保每个子进程独立初始化 -
init_process_group必须传backend='nccl'（GPU 训练），并显式指定rank和world_size - 初始化后立刻调用
torch.cuda.set_device(rank)，否则模型可能加载到默认卡（通常是 0 号） - 示例关键片段：
def main(rank, world_size): torch.cuda.set_device(rank) torch.distributed.init_process_group( backend='nccl', rank=rank, world_size=world_size ) model = MyModel().to(rank) model = torch.nn.parallel.DistributedDataParallel(model, device_ids=[rank])
训练时 loss 不下降 / 梯度为 0，是不是 DistributedDataParallel 没生效
大概率是数据没分片，所有进程都在训同一份 batch。DDP 本身不自动切数据，必须配 DistributedSampler，否则每张卡看到的数据完全一样，等效于重复梯度更新。
实操建议：
- 构造
DataLoader时，sampler参数必须设为DistributedSampler(dataset, num_replicas=world_size, rank=rank) -
DataLoader的shuffle应设为False，由DistributedSampler控制 shuffle 行为（它内部会根据 epoch 自动打乱） - 训练循环里每次迭代前，记得调用
sampler.set_epoch(epoch)，否则不同 epoch 数据顺序不变 - 验证时如果也用 DDP，
DistributedSampler的shuffle=False是安全的；但若想单卡验证，得换回SequentialSampler或关掉 sampler
DistributedDataParallel 封装后，model.module.xxx 怎么访问原始模型属性
封装后模型对象变成 DDP 实例，原始模型被包在 .module 属性里。直接访问 model.xxx 会失败（比如 model.encoder 不存在），必须通过 model.module.xxx。
实操建议：
- 所有对模型结构的访问（如取中间层输出、调用自定义 forward 分支、保存 state_dict）都走
model.module - 保存模型时用
model.module.state_dict()，而不是model.state_dict()（后者带module.前缀，跨单卡/多卡加载易出错） - 如果代码里大量存在
model.xxx，可加一层兼容逻辑：real_model = model.module if hasattr(model, 'module') else model - 注意：
model.module在单卡训练时不存在，所以判断不能省——别写成硬编码的model.module
多卡训练速度没提升，甚至变慢，NCCL 相关参数怎么调
瓶颈常在通信：GPU 间梯度同步太慢，尤其小模型或大 batch 下，通信开销占比高。NCCL 默认配置未必适配你的硬件拓扑（比如 PCIe switch、NVLink 是否启用）。
实操建议：
- 设置环境变量提前干预 NCCL 行为：
os.environ['NCCL_BLOCKING_WAIT'] = '1' # 定位 hang 住的进程 os.environ['NCCL_ASYNC_ERROR_HANDLING'] = '1' os.environ['NCCL_IB_DISABLE'] = '1' # 如果没 InfiniBand，禁用避免探测延迟 os.environ['NCCL_P2P_DISABLE'] = '1' # 禁用 P2P（某些多卡服务器上反而更稳）
- 检查 GPU 互联方式：
nvidia-smi topo -m，若显示NVLink，可加os.environ['NCCL_NVLINK_DISABLE'] = '0'；若只有 PCIe，别强行开 NVLink - batch size 要随卡数线性增大（比如 4 卡 → batch ×4），否则通信占比飙升；但增大后 learning rate 通常也要按比例调高（常用线性缩放规则）
- 用
torch.utils.benchmark对比单卡 vs 多卡的 forward+backward 时间，确认是计算瓶颈还是通信瓶颈
DDP 的正确性依赖进程间严格同步，任何一步跳过初始化、漏设 device、错用 sampler，都会导致静默错误——比如 loss 看似正常下降，但实际各卡在拟合不同分布。这些细节没法靠日志自动提醒，得靠结构化检查清单来兜底。
