最直接方式是用nvidia-smi -q -d TEMPERATURE查每卡温度,需先启用持久化模式(nvidia-smi -i X -p 1),否则空闲卡显示N/A;多卡温差超10℃应排查风道、风扇或散热问题。

用 nvidia-smi 查每张卡的实时温度(Linux)
多卡并联时最直接的判断方式,就是确认每张 GPU 是否被系统正确识别且温度读数独立可查。nvidia-smi 默认只显示汇总信息,但加 -q(query)参数后能列出全部传感器数据,包括每张卡的 GPU Current Temp。关键点在于:必须确保所有卡都处于 Persistence Mode: Enabled 状态,否则部分卡可能在空闲时关闭传感器上报,导致 nvidia-smi -q 返回 N/A。
执行以下命令可快速比对:
nvidia-smi -q -d TEMPERATURE | grep -A 1 "GPU [0-9]"
常见错误现象是某张卡温度始终显示 N/A,这通常不是硬件故障,而是该卡未启用持久化模式——需运行 nvidia-smi -i 2 -p 1(将索引为 2 的卡设为持久化),注意 -i 参数索引从 0 开始,且需 root 权限。
Windows 下用 nvml API 或 GPU-Z 验证多卡温度隔离性
Windows 任务管理器对多卡支持有限:它默认只显示“GPU 0”或当前渲染设备的温度,其余卡的传感器即使存在也不会自动暴露。真正可靠的方式是绕过 WDDM 层,用 NVML(NVIDIA Management Library)直读,或者用 GPU-Z 这类工具手动切换设备。
-
GPU-Z启动后,在右上角下拉菜单中选择不同GPU设备,再切到Sensors页签,就能看到对应卡的GPU Temperature、Memory Temperature和Hot Spot——这三个值差异大,说明散热风道或负载分配不均 - 若用 PowerShell 调用 WMI,
Get-CimInstance -ClassName Win32_VideoController只返回显卡型号和基本状态,**不包含温度字段**;必须改用Get-WmiObject -Namespace "root\cimv2\wmi" -Class "MSMonitorControl"(仅部分驱动支持),稳定性远不如GPU-Z
监控脚本里如何避免把多卡温度混成一个平均值
很多自建监控脚本(比如用 Prometheus + node_exporter)会误把 nvidia-smi --query-gpu=temperature.gpu 当作单值处理,结果只取到第一张卡的数据。实际该命令输出是多行,每行对应一张卡,必须配合 --id 显式指定设备索引,或用循环解析。
容易踩的坑:
- 没加
--format=csv,noheader,nounits导致解析失败(空格/逗号混用) - 用
$(nvidia-smi --query-gpu=temperature.gpu --format=csv)获取字符串后,直接echo $var | head -1,结果永远只监控到 GPU 0 - 在 OpenRig 类脚本中,若采集逻辑写成
temp=$(/usr/bin/nvidia-smi -q -d TEMPERATURE | awk '/GPU Current Temp/ {print $4; exit}'),exit会让它提前跳出,漏掉其他卡
正确做法是用 for 循环逐卡采集:
for i in $(seq 0 $(( $(nvidia-smi -L | wc -l) - 1 ))); do
temp=$(nvidia-smi -i $i -q -d TEMPERATURE | awk '/GPU Current Temp/ {print $4}')
echo "gpu_$i\_temp $temp"
done温度差异超过 10℃ 就该怀疑物理部署问题
多卡并联时,同一机架内各卡温差长期 >10℃,基本不是软件或驱动问题,而是硬件层异常。典型原因包括:
- PCIe 插槽位置导致风道遮挡:靠近电源或硬盘托架的卡进风受阻
- 双 BIOS 显卡中一张处于
BIOS mode(非计算模式),传感器读数失真 - 某张卡的风扇停转但未报错(
nvidia-smi中Fan Speed显示 0%,但温度正常?那是假象,得看GPU Current Temp是否随负载陡升) - AMD 卡混插时,
amdgpu驱动对hotspot传感器支持不一致,nvidia-smi根本不识别,必须换用rocm-smi
这时候别再调脚本,先拔卡、清灰、重装散热器,再测——软件能反映问题,但不能掩盖物理缺陷。

















