PyTorch分布式验证时all_gather收不到完整结果的根本原因是各rank输入tensor长度不一致（如验证末批样本数不同），导致size mismatch报错或卡死；需先同步长度、pad对齐、再all_gather，最后按原长切片还原。
PyTorch分布式验证时all_gather为什么收不到完整结果？
根本原因不是函数没跑，而是torch.distributed.all_gather要求所有进程传入**长度完全一致的tensor**（同shape、同dtype），而验证集每个GPU处理的样本数往往不等（尤其最后一批）。一旦某rank传入torch.empty(0)或尺寸不匹配的buffer，就会卡死或报RuntimeError: invalid argument 2: size mismatch。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 先用
torch.tensor([len(predictions)], device='cuda')做一次all_gather，同步各rank输出长度 - 根据最大长度pad本地tensor（用
torch.nn.functional.pad或手动cat dummy值） - 调用
all_gather后，再按原始长度切片还原 - 别用
all_gather_into_tensor——它只支持固定shape，不解决变长问题
用all_gather聚合验证指标（如Accuracy）的正确姿势
验证指标通常是标量（如acc、loss），但直接gather标量tensor会出错：因为all_gather要求输入是**至少1维的tensor**，且output list里每个tensor必须和input shape一致。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 把标量转成1维tensor：
torch.tensor([acc], device='cuda') - 预分配output list：
[torch.empty_like(local_acc) for _ in range(world_size)] - 调用
torch.distributed.all_gather(output_list, local_acc) - 拼接后取平均：
torch.cat(output_list).mean().item() - 注意：不能用
torch.distributed.reduce替代——它只在rank 0汇总，其他rank拿不到全局值
验证集预测结果拼接时all_gather和gather怎么选？
如果只要rank 0收集全部预测结果（比如存CSV），用gather更轻量；如果所有rank都需要全局结果（比如做ensemble或在线评估），必须用all_gather。
实操建议：
立即学习“Python免费学习笔记（深入）”；
-
gather：rank 0传dst=0，其他rank传dst=None；output list只需rank 0提供，其他rank可传None -
all_gather：所有rank都必须提供非None的output list，且长度等于world_size - 内存上，
all_gather会让每个GPU存一份全局数据，验证集大时容易OOM；gather只在rank 0存，更省显存 - 示例片段：
if rank == 0:<br> output_list = [torch.empty_like(preds) for _ in range(world_size)]<br> torch.distributed.gather(preds, output_list, dst=0)<br>else:<br> torch.distributed.gather(preds, None, dst=0)
DDP验证中all_gather卡住或返回全零的常见坑
最常被忽略的是：没调用torch.distributed.barrier()就急着gather，或者gather前后没确保tensor在同一个device上。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 所有gather操作前加
torch.distributed.barrier()，强制同步进度 - 检查tensor device：本地preds是
cuda:0，但output list里tensor是cpu？会静默失败 - 确认init_method：用
env://时，确保MASTER_PORT没被占用，且所有进程看到同一套环境变量 - 调试技巧：在gather前后打印
rank和preds.shape，确认各rank是否真在跑、shape是否合理 - 别在
torch.no_grad()里漏掉.cuda()——all_gather不支持CPU tensor
.cuda()或少一次barrier，整个验证流程就会静默失败或结果错乱。 
