首先确认PyTorch是否启用CUDA：运行torch.cuda.is_available()，若返回False则CUDA未生效，需检查是否安装了带cu前缀的PyTorch而非cpu版本。
确认PyTorch是否已启用CUDA
很多问题其实出在「以为装了CUDA，其实没生效」。最直接的验证方式是运行：
import torch<br>print(torch.cuda.is_available())<br>print(torch.cuda.device_count())<br>print(torch.cuda.get_current_device())如果第一个输出是
False，后面全无意义——别急着指定设备号，先解决可用性问题。
常见错误现象包括：系统装了NVIDIA驱动但没装CUDA Toolkit；或用conda/pip混装了CPU-only版本的PyTorch。务必核对安装命令是否带 cu118、cu121 等后缀（例如 torch==2.3.0+cu121），而非 cpu 版本。
用cuda:0还是cuda:1？怎么查物理设备号
PyTorch里的设备编号（如 cuda:0）默认按PCIe插槽顺序映射，但和nvidia-smi显示的编号可能不一致——这是最容易踩的坑。执行
nvidia-smi -L看到的是驱动层的逻辑序号（ID 0, 1, 2…），而PyTorch的
torch.cuda.device_count() 和 torch.cuda.get_device_name(i) 才反映实际可调用的设备顺序。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 用
torch.cuda.get_device_name(0)对比nvidia-smi -L输出，确认哪张卡对应哪个索引 - 多卡场景下，避免硬编码
cuda:1，改用设备名匹配更稳妥：device = torch.device("cuda" if torch.cuda.is_available() else "cpu")<br>if device == torch.device("cuda"):<br> for i in range(torch.cuda.device_count()):<br> if "A100" in torch.cuda.get_device_name(i):<br> device = torch.device(f"cuda:{i}")<br> break -
CUDA_VISIBLE_DEVICES=1 python script.py可以强制重映射可见设备，此时脚本里仍用cuda:0访问物理卡1
模型和数据必须显式移到GPU上
只在初始化时写 model.to("cuda:0") 不够，每次前向推断前，输入数据也得同步迁移，否则会报 Expected all tensors to be on the same device 错误。
关键点：
- 模型、输入张量、中间状态（比如hidden state）必须同设备——漏掉一个就会崩
- 推荐统一入口处理：
device = torch.device("cuda:0")<br>model = model.to(device)<br>with torch.no_grad():<br> output = model(input_tensor.to(device)) - 注意
.to()返回新张量，原张量不变；若反复调用，记得复用或缓存设备对象，避免重复查询开销
为什么torch.cuda.empty_cache()有时没用
它只释放未被引用的缓存显存，不释放正在使用的显存。如果你看到显存占用高但 empty_cache() 没反应，大概率是变量还活着（比如保存了中间结果、模型梯度、或者用了全局列表缓存输出）。
排查建议：
- 用
torch.cuda.memory_summary()查看显存分配细节，重点关注allocated和reserved的差值 - 检查是否有意外保留的 reference：比如把
outputappend 到某个 list，或用了torch.no_grad()但没关 autograd（某些自定义层仍可能记录计算图） - 多卡推理时，
empty_cache()默认只清当前设备，需手动指定：for i in range(torch.cuda.device_count()):<br> torch.cuda.set_device(i)<br> torch.cuda.empty_cache()
设备号不是魔法数字，是运行时状态的一部分；环境配置、进程隔离、甚至Docker容器的 --gpus 参数都会影响最终可见设备集合。动手前先跑通 torch.cuda.is_available() 和 get_device_name()，比翻文档更快定位问题。
