PyTorch中del变量后显存不释放,主因是张量仍被隐式引用(如模块属性、闭包、梯度、优化器状态等);需用torch.cuda.empty_cache()释放缓存显存,并检查引用链、清除梯度、分离计算图、清空optimizer.state。

PyTorch中del变量后显存不释放?先确认是否还在计算图里
显存没下来,大概率不是没删变量,而是张量仍被隐式持有:比如在torch.no_grad()外创建的Tensor、被闭包捕获、或作为模块属性挂载在nn.Module实例上。调用del x只是删了引用,若还有其他路径可达该张量(如model.cache = x),GC 就不会回收其显存。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 用
torch.cuda.memory_allocated()和torch.cuda.memory_reserved()分清「已分配」和「已预留」——后者常被缓存器占着不还,即使没活跃张量 - 检查是否有未清除的
grad:运行x.grad = None或model.zero_grad(set_to_none=True),避免梯度对象长期持有所属Tensor - 禁用
torch.autograd.set_detect_anomaly(True)调试模式,它会强制保留全部中间变量
手动触发GPU内存回收:别只靠gc.collect()
gc.collect()只能回收CPU端Python对象,对CUDA内存无效。PyTorch的显存管理是分层的:底层CUDA上下文由PyTorch自己维护,上层Python对象只是“句柄”。真正释放显存得靠PyTorch自己的清理机制。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 调用
torch.cuda.empty_cache()——它释放的是未被任何张量引用但被缓存器(caching allocator)占着的显存,对缓解out of memory最直接有效 - 注意:它不释放正在使用的显存,也不保证立刻归还给系统;多次调用无害,但频繁调用可能降低后续分配效率
- 如果用多GPU,需指定设备:
torch.cuda.empty_cache()只作用于当前device,可配合torch.cuda.set_device(i)逐卡清理
训练循环中显存持续增长?重点查loss.backward()和optimizer.step()之后的状态
常见陷阱是把loss或中间输出存进列表(如losses.append(loss.item())没问题,但losses.append(loss)就完蛋),导致整个计算图无法释放。哪怕只存一个loss,也会把前向所有张量拖住。
FastMCP 是构建 Model Context Protocol 服务器、客户端和应用程序的标准 Python 框架。它提供自动模式生成、传输协商和协议生命周期管理,使开发人员能够用最少的样板代码将 Python 函数包装成符合 MCP 标准的工具。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 确保所有用于日志/监控的值都调用
.item()或.detach().cpu().numpy(),彻底切断与计算图的连接 - 在
backward()后立即用loss.detach_()或loss = loss.detach(),再del loss - 使用
with torch.no_grad():包裹推理代码块,避免意外构建计算图 - 验证时慎用
model.train(False)——它不关闭梯度,必须配torch.no_grad()才安全
彻底清理模型和优化器:别忘了optimizer.state里的缓存
调用del model, optimizer后,显存可能还在,因为optimizer.state里存着动量、二阶矩等Tensor,它们默认绑定到模型参数的device上,且生命周期独立于模型本身。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 手动清空优化器状态:
optimizer.state.clear(),再del optimizer - 若模型含
Buffer(如BN的running_mean),确认它们没被意外保留在CPU/GPU混合状态;统一移到同一设备再删除 - 极端情况(如单元测试中反复初始化/销毁模型),可在
del后加torch.cuda.synchronize()+torch.cuda.empty_cache(),强制同步并释放缓存
真正难清理的从来不是张量本身,而是那些你没意识到还在引用它的对象——比如一个打印日志的闭包、一个全局字典里的键、或者__dict__里没被注意到的临时属性。每次显存不释放,优先查引用链,而不是反复调empty_cache()。

















