该错误源于未初始化进程组，需用torchrun启动并调用init_process_group；DDP下loss不降或梯度nan主因是未用DistributedSampler且未调set_epoch；混合精度训练中GradScaler须每进程独立创建并严格按scale→backward→step→update顺序执行。
为什么 DistributedDataParallel 启动就报 RuntimeError: Default process group is not initialized
这个错误说明你调用了 torch.distributed 相关功能（比如 DistributedDataParallel），但没先初始化进程组。不是模型写错了，是启动流程漏了关键一步。
常见诱因：torch.nn.parallel.DistributedDataParallel 被直接实例化，而没走 torch.distributed.init_process_group；或者用了 python train.py 直接运行，没通过 torch.distributed.launch 或 torchrun 启动。
- 必须在每个进程里调用一次
torch.distributed.init_process_group，且所有进程参数一致（backend、init_method、rank、world_size） - 推荐用
torchrun启动：它自动分配rank和world_size，避免手写环境变量出错 -
init_method="env://"是默认值，依赖MASTER_ADDR、MASTER_PORT、RANK、WORLD_SIZE四个环境变量 ——torchrun会帮你设好，别自己 export
为什么 DistributedDataParallel 包裹后 loss 不下降或梯度为 nan
不是模型本身问题，大概率是数据加载或同步逻辑没对齐。DDP 本身不改模型计算逻辑，但它强制要求每个进程看到“不同且不重叠”的数据子集。
典型陷阱：用了普通 DataLoader，没配 DistributedSampler，导致所有 GPU 训练同一份 batch。
立即学习“Python免费学习笔记（深入）”；
- 必须给
DataLoader的sampler参数传DistributedSampler(dataset, num_replicas=world_size, rank=rank) -
DistributedSampler默认shuffle=True，但要确保每次 epoch 前都调用sampler.set_epoch(epoch)，否则多卡间 shuffle 种子一样，实际还是重复采样 - 别在 DDP 外再手动调用
model.to(device)后又传给 DDP —— 正确顺序是：先model.to(device)，再model = DistributedDataParallel(model, device_ids=[local_rank]) - 如果用了
device_ids，output_device别乱设；单卡 per process 场景下，省略device_ids反而更稳（让 DDP 自动处理）
如何正确启动多进程并验证 DDP 是否生效
别靠 print 猜，用最简方式确认通信和分卡是否正常。重点不是“跑起来”，而是“每张卡真正在算不同的东西”。
- 启动命令统一用：
torchrun --nproc_per_node=2 --master_port=29500 train.py（把2换成你的 GPU 数） - 在脚本开头加验证代码：
if torch.distributed.is_initialized(): print(f"Rank {torch.distributed.get_rank()}/{torch.distributed.get_world_size()} ready") - 检查
torch.cuda.current_device()是否等于你传给 DDP 的local_rank—— 如果不等，device_ids配置可能让 DDP 把计算调度到了错误的卡上 - 训练时打印
loss.item()前加if rank == 0:，避免多行日志干扰；但 loss 值本身不用 all_reduce —— DDP 已在 backward 中做了梯度同步
混合精度训练 + DDP 下 GradScaler 怎么配才不出错
GradScaler 本身支持 DDP，但位置和调用时机不对就会导致 scale 因子不一致、下溢或死锁。
-
GradScaler必须在每个进程独立创建，不要跨进程共享 -
scaler.scale(loss).backward()之后，必须立刻scaler.step(optimizer)+scaler.update()—— 中间不能插入 DDP 相关操作 - 别在
scaler.step()前调用optimizer.zero_grad()，应该在scaler.update()之后；否则下一轮 backward 会累加梯度 - 如果用了
torch.compile，注意GradScaler和编译模型目前存在兼容性问题，建议先关掉 compile 测试 DDP+AMP 是否稳定
set_epoch() 或少一个 torchrun，都会表现为 loss 不变、nan、卡死或 silent failure。 
