反向传播时显存暴涨是因计算图默认保留全部中间张量；可用梯度检查点（checkpoint）以时间换空间，显存降50%+，或用.detach()切断梯度依赖、torch.cuda.empty_cache()清理缓存。
反向传播时显存暴涨，是因为计算图默认保留全部中间张量
PyTorch在前向传播中会自动构建计算图，并为每个需要梯度的中间张量（如y = x @ w + b中的y）保留其值，直到backward()完成。这不是“泄漏”，而是设计使然——反向传播必须能回溯到任意节点的输入。但这也意味着：深层网络、大batch或高分辨率输入下，这些激活值（activations）可能占满显存的40%以上，远超参数本身。
常见错误现象包括：torch.cuda.OutOfMemoryError发生在loss.backward()调用瞬间；训练几轮后显存持续上涨；torch.cuda.memory_allocated()在backward()后未明显下降。
- 不要依赖
del中间变量来释放——只要它还在计算图里被引用，del无效 -
torch.no_grad()只适用于推理，训练中禁用会直接中断梯度流 - 用
.detach()提前切断计算图，但必须确保不破坏所需梯度路径
用torch.utils.checkpoint做梯度检查点，以时间换空间
这是解决激活值显存问题最直接有效的手段。原理是：前向时只保存部分中间张量（比如每N层存一个），其余用recompute方式在反向时重新跑一遍前向。代价是约20–30%额外计算开销，但显存可降50%+，尤其对Transformer、UNet这类深网络效果显著。
关键点：
立即学习“Python免费学习笔记（深入）”；
- 必须把要检查点的子模块封装成独立
nn.Module或用checkpoint_sequential - 不能在检查点区域内使用
torch.no_grad()或inference_mode，否则重计算失败 - 输入张量需设
requires_grad=True，否则checkpoint不生效
示例：
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
from torch.utils.checkpoint import checkpoint <p>class CheckpointedBlock(nn.Module): def <strong>init</strong>(self, block): super().<strong>init</strong>() self.block = block def forward(self, x): return checkpoint(self.block, x)</p><h1>替换原模型中的某段</h1><p>model.encoder.layers[2] = CheckpointedBlock(model.encoder.layers[2])
手动控制计算图生命周期：.detach()和with torch.no_grad()的边界很窄
很多用户误以为加了.detach()就能立刻释放显存——其实它只是断开梯度依赖，原张量仍驻留GPU。真正释放时机取决于Python引用计数和PyTorch缓存分配器是否回收。只有当张量彻底脱离计算图且无任何Python变量引用时，才可能被清理。
典型适用场景：
- 特征提取后不再参与训练：用
features = model.encoder(x).detach()，再送入下游模块 - 对比学习中负样本无需梯度：
neg_logits = classifier(neg_features).detach() - RL中的旧策略输出：
old_logp = policy(old_obs).log_prob(old_action).detach()
注意：detach()后若还参与loss计算（比如作为监督信号），必须确保该信号本身不带梯度，否则backward()会报错。
torch.cuda.empty_cache()不是万能药，但它在特定时机能起效
这个函数只清空PyTorch缓存分配器中“已释放但未归还给CUDA”的内存块，对正在被计算图引用的张量完全无效。但它在两个地方真有用：
- 训练循环末尾、切换数据集或模型结构前（比如加载新checkpoint后）
- 执行完
del+gc.collect()后，补一刀empty_cache()加速缓存池回收
性能影响：频繁调用会导致CUDA上下文切换开销，建议只在显存统计出现明显“已分配少、已预留多”偏差时使用（即memory_allocated() ）。
容易忽略的一点：empty_cache()对多GPU环境只作用于当前current_device，切设备需先torch.cuda.set_device()。
