GPU变慢主因常是数据未高效送入：to(device)频繁触发同步拷贝、DataLoader磁盘IO瓶颈或张量过小致搬运开销超计算。
GPU比CPU还慢，八成不是显卡不行，而是数据根本没送进去——to(device) 调用太频繁、DataLoader 卡在磁盘读取、或张量太小导致搬运开销压倒计算收益。
为什么 to(device) 一多，GPU 就变慢？
每次调用 .to('cuda') 都触发一次同步内存拷贝，这个过程不并行、不可忽略。尤其当 batch 很小（比如 shape=(1, 3, 224, 224)）时，拷贝耗时可能比 GPU 计算本身还长。
- 避免在训练循环里反复调用
.to(device)：确保model和每 batch 的input、target在进入for循环前就已移到 GPU - 检查是否误把中间变量（如 loss 拆解项）反复搬入搬出：例如
loss.item()是 CPU 操作，但若在 loss 计算后立刻.cpu().detach().numpy()，会强制同步等待 - 警惕隐式设备转换：当一个
cuda张量和一个cpu张量做运算（如loss + regularizer.cpu()），PyTorch 会自动把后者搬到 GPU，且不报错、难察觉
DataLoader 卡住时，nvidia-smi 会怎么表现？
GPU-Util 在 0% 和 100% 之间剧烈跳动（比如 0% → 95% → 0% → 87%…），每轮间隔 0.5–2 秒，同时 Memory-Usage 波动不大、温度低、风扇转速低——这是典型的“GPU 等数据”信号。
- 先确认
num_workers > 0：设为0表示全在主线程加载，等于放弃多核 CPU - 务必启用
pin_memory=True：它让 DataLoader 把 batch 预分配在 page-locked 内存中，大幅提升to('cuda')的传输速度 - 检查磁盘 IO：用
iostat -x 1观察%util和await，若磁盘长期 100% 利用或平均等待超 10ms，说明数据源（如 HDD 或 NFS）拖了后腿
张量太小真会导致 GPU 更慢？怎么验证？
是的。GPU 并行优势需要足够大的计算量来摊薄启动和搬运成本。用 torch.ones(s, s) 做加法测试就能复现：当 s ，GPU 耗时普遍高于 CPU。
立即学习“Python免费学习笔记（深入）”；
- 快速判断：打印你的输入
x.shape，如果 batch 维度以外的任意维度 ≤ 64（如(8, 3, 64, 64)），就要怀疑规模不足 - 临时验证：把
batch_size放大 2–4 倍（如从 16 改到 64），观察单 step 时间是否下降、GPU-Util 是否更平稳 - 注意显存余量：放大 batch 后若
Out of Memory，说明模型+batch 已逼近显存极限，此时应优先优化数据加载或改用梯度累积
真正卡住的地方，往往不在 GPU 核心里，而在 PCIe 总线、内存带宽、甚至硬盘寻道时间上。监控时别只盯着 GPU-Util，Memory-Usage 稳定但 GPU-Util 跳变，大概率是 CPU 没把数据及时喂过去——这时候调模型不如调 DataLoader 参数和存储路径。
