tf.config.list_physical_devices('GPU')仅列出GPU设备,不显示显存占用;需用tf.config.experimental.get_memory_info()(TF 2.10+)或nvidia-smi获取实时显存用量。

tf.config.list_physical_devices('GPU') 能看到显卡但看不到显存用量
这个函数只返回设备列表,不提供实时显存占用。很多人误以为它能查显存,结果发现 tf.config.list_physical_devices('GPU') 返回 [PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')] 就以为“模型已加载成功”,其实模型可能根本没进显存,或者显存已被其他进程占满导致分配失败。
真正要看显存,得靠底层驱动接口或 TensorFlow 自身的内存统计机制:
- 训练中用
tf.test.is_gpu_available()只是检查可用性,不反映当前占用 - 显存实际使用量必须通过
nvidia-smi命令行、py3nvml库,或 TF 2.10+ 的tf.config.experimental.get_memory_info() - 注意:TF 默认启用内存增长(
memory_growth=True),显存是按需分配的,刚创建模型时可能只占几十 MB,跑一次model.predict()后才暴涨
tf.config.experimental.get_memory_info() 是最直接的 Python 内置方案
TensorFlow 2.10 开始支持该接口,能获取 GPU 显存的当前用量和峰值用量,单位是字节,无需额外依赖。但它只对当前默认 GPU 生效,且要求显存策略已启用。
实操前先确保配置正确:
立即学习“Python免费学习笔记(深入)”;
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限
- 在
import tensorflow as tf后立即设置内存增长:gpus = tf.config.list_physical_devices('GPU') if gpus: for gpu in gpus: tf.config.experimental.set_memory_growth(gpu, True) - 调用前至少触发一次 GPU 计算(比如
tf.constant([1.0]).gpu()或跑一个 dummy forward),否则返回的'current'可能为 0 - 示例获取方式:
info = tf.config.experimental.get_memory_info('GPU:0') print(f"当前显存: {info['current'] / 1024**3:.2f} GB") print(f"历史峰值: {info['peak'] / 1024**3:.2f} GB")
nvidia-smi -q -d MEMORY 输出稳定但延迟高,适合调试阶段
这是绕过 TF、直接读取 NVIDIA 驱动层数据的方式,结果最真实,但无法精确到单个 Python 进程——它显示的是整个 GPU 设备的显存占用,包括其他用户、docker 容器或后台服务。
常用命令组合:
- 实时刷新查看:
nvidia-smi --query-gpu=memory.used,memory.total --format=csv,noheader,nounits - 解析成 Python 变量(推荐用
subprocess):import subprocess result = subprocess.check_output(['nvidia-smi', '--query-gpu=memory.used', '--format=csv,noheader,nounits']).decode().strip() used_mb = int(result)
- 注意:
nvidia-smi默认每秒刷新一次,频繁调用会拖慢训练;生产环境建议每 5–10 秒采样一次
模型加载后显存突增却报 OOM?重点检查 batch_size 和 input_shape
显存爆炸往往不是模型本身参数量导致的,而是动态计算图中中间张量尺寸失控。尤其在自定义训练循环或使用 tf.function 时,静态图优化可能意外缓存大尺寸 tensor。
排查要点:
- 确认
batch_size是否远超显存容量(例如 V100 32G 上跑batch_size=64的 ViT-Base 图像输入,input_shape=(224,224,3)就容易炸) - 检查
model.input_shape是否含None,TF 会按最大可能尺寸预分配显存(如(None, 512, 512, 3)) - 用
tf.config.experimental.reset_memory_stats('GPU:0')在关键节点重置峰值统计,定位哪步导致突增 - 启用
tf.debugging.enable_dump_debug_info()并配合tensorboard --logdir=...查看内存热力图(仅 TF 2.12+)
get_memory_info() 和周期性 nvidia-smi 采样结合使用,并在每次修改 @tf.function 或数据预处理逻辑后重新压测。

















