结论：DDP中权重初始化不一致的根源是各进程RNG状态相同导致reset_parameters()生成重复权重，必须在init_process_group后、模型实例化前，按rank设置不同seed并重置所有RNG。
直接说结论：权重初始化不一致，根本不是“随机种子没设好”能解决的，而是因为 DistributedDataParallel 启动后各进程独立执行 reset_parameters()，但默认共享同一个 RNG 状态——结果就是所有卡上初始化出完全相同的权重，彻底破坏分布式训练的语义。
为什么 torch.manual_seed() 在 DDP 里失效？
很多人以为只要在 init_process_group 前设了全局 seed 就万事大吉。错。PyTorch 模块（如 nn.Linear）在实例化时会立即调用 reset_parameters()，而该方法内部使用的是当前线程的 RNG 状态。DDP 多进程启动后，每个进程初始 RNG 状态完全一样，导致所有卡上的权重矩阵一模一样。
- 现象：4 卡训练，
model.conv1.weight[0, 0, 0, 0]在 rank 0/1/2/3 上值全相同 - 后果：梯度聚合后等效于单卡训练，收敛变慢、泛化变差
- 验证方式：在
model = MyModel()后立刻打印各 rank 的某层权重，就能确认是否重复
torch.cuda.manual_seed_all() 不够，必须 per-rank seed
关键不是“设种子”，而是“每个 rank 设不同种子”。不能只靠 torch.manual_seed(42)，它对所有进程生效一次；必须让每个进程基于自身 rank 构造独立 seed。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 正确做法：
seed = 42 + torch.distributed.get_rank()，再分别调用torch.manual_seed(seed)和torch.cuda.manual_seed(seed) - 注意顺序：必须在
init_process_group之后、模型实例化之前执行 - 别漏掉其他 RNG：如果用了 NumPy 或 Python random，也要同步重置：
np.random.seed(seed)、random.seed(seed)
加载预训练权重时的初始化冲突
如果你从 checkpoint 加载权重（比如 model.load_state_dict(checkpoint)），那初始化就不再发生——但前提是 checkpoint 里包含完整 state_dict。一旦你删层、改结构、或用 strict=False 跳过部分 key，那些没被覆盖的参数仍会走默认 reset_parameters()，又回到上面的多卡同权重问题。
立即学习“Python免费学习笔记（深入）”；
- 典型场景：替换分类头后加载 backbone 权重，新 fc 层仍被重复初始化
- 安全做法：加载前先冻结整个模型
model.requires_grad_(False)，再手动解冻需要微调的部分，并**显式初始化它们** - 示例：
nn.init.xavier_uniform_(model.fc.weight)，而不是依赖自动 reset - 更稳妥：把初始化逻辑封装成函数，在
get_rank() == 0时只由主卡生成初始化张量，再用torch.distributed.broadcast()分发到其他卡
最易被忽略的点：即使你修复了初始化，如果数据加载器（DataLoader）用了 shuffle=True 且没设 generator=torch.Generator().manual_seed(seed)，各卡看到的 batch 顺序仍可能不同——这虽不影响权重本身，但会让 loss 曲线看起来“不一致”，误判为初始化问题。
