DataParallel性能瓶颈源于梯度串行同步至主卡，跨PCIe拷贝成关键延迟；DDP需正确配置init_process_group与NCCL环境，且原生支持AMP而DataParallel需手动处理。
为什么 DataParallel 在某些机器上不加速甚至变慢
根本原因不是显卡没用上，而是数据分发和反向同步的串行瓶颈。它把一个 batch 拆成 N 份扔给 N 卡，但所有梯度最终要汇总到主卡（device_ids[0]）做更新——如果主卡是 cuda:0，而其他卡是 cuda:1～cuda:3，跨 PCIe 的梯度拷贝就成性能杀手。
- 只适合单机多卡、batch size 足够大（比如 ≥ 64）、模型前向计算远重于梯度同步的场景
- 主卡显存必须能容纳整个模型 + 全局优化器状态 + 一份完整 batch 的中间激活值，容易
OutOfMemoryError - 不支持
nn.Module内部含torch.cuda.stream或自定义 CUDA kernel 的模块，会报RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.cuda.FloatTensor) should be the same - 示例中常见错误写法：
model = DataParallel(model).cuda()—— 正确应为先.cuda()再包装，否则模型可能留在 CPU
DistributedDataParallel 启动时卡在 init_process_group
这不是代码写错了，大概率是网络初始化没对。DDP 默认走 TCP，要求所有进程能互相直连，且端口未被占用；用 nccl 后端时还依赖 GPU 驱动版本与 PyTorch 编译版本匹配。
- 启动命令必须统一指定
--nproc_per_node=4（不能靠环境变量CUDA_VISIBLE_DEVICES隐式控制） -
init_method='env://'要求提前设置MASTER_ADDR和MASTER_PORT，漏设就会无限等待 - NCCL 报错如
NCCL version mismatch或Connection refused，优先检查python -c "import torch; print(torch.cuda.nccl.version())"与系统libnccl.so版本是否一致 - 调试建议：先跑通单卡
torch.distributed.run --nproc_per_node=1，再扩到多卡
混合精度训练下 DataParallel 和 DistributedDataParallel 的差异
DataParallel 无法直接套 torch.cuda.amp.autocast + GradScaler，因为各卡前向独立但 scaler 只在主卡维护，梯度缩放不同步会导致 NaN loss；而 DDP 原生支持 AMP，GradScaler 会自动做跨卡 all_reduce 归一化。
- DDP 中正确用法：
scaler.scale(loss).backward()必须在model.no_sync()之外调用，否则梯度不会同步 -
DataParallel强行加 AMP 得手动在每张卡上建独立GradScaler，且反向后要手工 gather 梯度再 unscale，极易出错 - FP16 权重拷贝开销在 DDP 中更小：各卡只加载自己那份模型参数，不像 DataParallel 那样主卡反复广播
- 注意
torch.cuda.amp.GradScaler的growth_interval默认是 2000，多卡训练时实际更新频率变低，可能影响收敛
验证多卡是否真正在协同工作
别只看 nvidia-smi 显存占用，那只能说明模型加载了；关键看每张卡的计算利用率和通信量。真实负载不均往往藏在数据加载或模型结构里。
立即学习“Python免费学习笔记（深入）”；
- 用
watch -n 1 'nvidia-smi --query-gpu=index,utilization.gpu,temperature.gpu --format=csv'观察各卡utilization.gpu是否同步波动 - DDP 下若某卡长期
utilization.gpu接近 0%，大概率是DataLoader的num_workers设太高，导致主线程阻塞在数据搬运上 - 模型中存在
torch.cat、torch.stack等操作且输入来自不同卡，会触发隐式设备同步，产生不可见延迟 - 最简单的验证方式：在 forward 开头加
print(f"Rank {dist.get_rank()}: {x.device}")，确认输入 tensor 真实分布在对应卡上，而不是全在cuda:0
nvtop 和 torch.utils.bottleneck 一点点调，而不是换一个封装就以为万事大吉。 
