梯度累积是解决显存不足的核心方法，通过分批计算梯度并累积后统一更新参数，配合AMP、梯度检查点、8-bit Adam等显存优化策略可有效支撑大模型训练。
训练大型模型时显存不够，不是只能换卡或砍模型——梯度累积是核心解法，配合显存管理策略才能稳住训练流程。
梯度累积：用时间换空间
当单步 batch size 超出显存容量，可把一个大 batch 拆成多个小 batch 分批送入，不立即更新参数，而是累加各小步的梯度，等累积满指定步数再统一优化。
- PyTorch 中只需在反向传播后调用 loss.backward()，不执行 optimizer.step()；每累积 accumulation_steps 次，才调一次 optimizer.step() 和 optimizer.zero_grad()
- 注意同步更新学习率：有效 batch size 变大了，学习率通常需按比例缩放（如线性缩放规则），否则容易训崩
- 记得在 zero_grad() 前检查是否已累积够步数，避免漏清或早清梯度
显存关键占用点与释放技巧
显存不只是模型参数占的，中间激活、优化器状态、梯度本身都吃显存。重点盯住这三块：
- 激活值：用 torch.utils.checkpoint（即梯度检查点）可大幅减少显存，代价是重算部分前向，适合层数深的模型
- 优化器状态：Adam 类优化器会为每个参数存 momemtum 和 variance，显存翻 2–3 倍；换成 8-bit Adam（bitsandbytes） 或 Adafactor 可显著缓解
- 混合精度训练（AMP）：用 torch.cuda.amp.autocast + GradScaler，自动将大部分计算切到 float16，显存减半且加速，但需处理梯度下溢/溢出
实用组合策略推荐
单靠一种技术往往不够，真实场景建议按需叠加：
立即学习“Python免费学习笔记（深入）”；
- 中小显存（如 24G V100）：AMP + 梯度累积（4–8 步）+ 检查点（每 2 层插一个）
- 极低显存（如 12G RTX3090）：加 8-bit Adam + 更高累积步数（16+）+ 关闭 unused parameters（DDP 中设 find_unused_parameters=False）
- 调试阶段：先用 torch.cuda.memory_summary() 打印显存分布，确认瓶颈在哪一块，再针对性优化
基本上就这些。梯度累积不是黑魔法，本质是控制每次 update 的数据量；显存管理也不是越省越好，要在速度、稳定性、复现性之间找平衡。
