PyTorch训练中显存持续增长大概率因未调用detach()导致计算图意外延长；常见场景包括验证时用loss.cpu().numpy()、指标函数内未detach pred/target、torch.no_grad()后遗漏feat.detach()、访问param.grad未detach等。
PyTorch训练中内存持续增长，大概率是没调用 detach()
训练几轮后显存占用越来越高，nvidia-smi 显示 GPU 内存只增不减，但模型参数和 batch size 没变——这几乎可以锁定是计算图意外延长，最常见原因就是该 detach() 的张量没 detach。
哪些场景必须手动调用 detach()
不是所有中间变量都要 detach，但以下情况漏掉就容易爆显存：
- 在验证/日志逻辑里，把带梯度的
loss或output直接转成 Python 数字（如loss.item()是安全的，但loss.cpu().numpy()不是） - 把预测结果
pred和标签target一起塞进自定义指标函数（比如计算 F1、IoU），而该函数内部又做了 tensor 运算却没 detach - 用
torch.no_grad()包裹了前向，但退出上下文后仍持有某层输出（如feat = model.encoder(x); feat = feat.detach()忘写后半句） - 在梯度裁剪或 hook 中访问了
param.grad并参与后续计算，未先 detach
detach() 和 .item()、torch.no_grad() 的区别别搞混
三者目的不同，不能互相替代：
-
.item()：只适用于标量 tensor，强行取值并断开图，但会触发同步（GPU→CPU），高频调用拖慢训练；非标量调用直接报错ValueError: only one element tensors can be converted to Python scalars -
detach()：返回一个新 tensor，共享数据但不带 grad_fn，不拷贝内存，也不同步设备；适合保留 tensor 形状做后续计算（如指标统计） -
torch.no_grad()：上下文管理器，控制整个代码块是否构建计算图；但它不“清除”已存在的图引用，如果之前已有带梯度的 tensor 被闭包捕获，依然会泄漏
典型错误写法：
with torch.no_grad():
pred = model(x)
# ❌ 下面这行会让 pred 重新进入计算图（如果 metric_func 内部用了 requires_grad=True 的 tensor）
score = metric_func(pred, y)
快速定位泄漏点的实操方法
不要靠猜，用 PyTorch 自带机制缩小范围：
提示词大师-python版
下载
图片提示词生成器？不止如此。 马甲系统 —— 把脑海中的画面，翻译成AI能理解的专业表达。 用得越多，它越懂你：首次需要多问几句确认方向，用久了几乎一说就懂。 用得越多，它越快：缓存机制让后续对话越来越省。 RAG进化：成功案例持续入库，越跑越聪明。 输入「新手指南」查看完整功能介绍
立即学习“Python免费学习笔记（深入）”；
- 在疑似泄漏循环前后加
torch.cuda.memory_allocated()打点，确认增长是否发生在特定代码段 - 对可疑 tensor 调用
tensor.grad_fn：如果返回非None，说明它还在计算图里；再查tensor.grad_fn.next_functions看链路源头 - 临时在关键位置插入
assert not pred.requires_grad, "pred still requires grad"，训练时立刻暴露问题 - 禁用 cudnn 确保可复现：
torch.backends.cudnn.enabled = False，避免底层优化掩盖引用关系
最简修复示例：
# 错误：pred 参与指标计算，但未脱离图 score = compute_iou(pred, target) # pred.requires_grad == True <h1>正确：显式切断</h1><p>score = compute_iou(pred.detach(), target.detach())
真正难排查的是跨函数、跨模块的隐式引用，比如某个回调类缓存了 epoch 的 output 列表却忘了 detach——这种得靠内存快照工具（如 torch.cuda.memory_summary()）配合代码审计，不是加一行 detach() 就能解决的。
