显存溢出时memory_allocated()跳变是因PyTorch缓存机制，需结合memory_reserved()监控；DataLoader的pin_memory和num_workers可能引发隐式泄漏；torch.compile()在Ampere架构下显存峰值或翻倍；CrossEntropyLoss中ignore_index不减少显存占用。
显存溢出时 torch.cuda.memory_allocated() 返回值突然跳变
这不是显存真的“够用了”，而是 PyTorch 的缓存机制在作祟——torch.cuda.empty_cache() 不会立刻释放给系统，memory_allocated() 只统计当前张量占用，不包含缓存池里待回收的内存。你看到数值回落，可能只是缓存还没被复用或强制清理。
- 监控必须搭配
torch.cuda.memory_reserved()看：它反映实际向 CUDA 驱动申请但尚未归还的显存总量 - 每轮训练后加一行
print(f"Alloc: {torch.cuda.memory_allocated()/1024**3:.2f}G, Reserved: {torch.cuda.memory_reserved()/1024**3:.2f}G")，才能判断是否真在增长 - 避免只靠
nvidia-smi里的Used判断：它含驱动开销、其他进程、甚至 PyTorch 缓存，滞后且不准
BatchSize 减半还不行？检查 pin_memory=True 和 num_workers>0 的副作用
这两个 DataLoader 参数本意是加速数据加载，但在小显存卡（如 8G RTX3070）上反而容易触发隐式显存泄漏：子进程预加载的数据页可能被意外映射进主进程 GPU 地址空间，尤其当 collate_fn 返回含 GPU 张量时。
- 先设
num_workers=0+pin_memory=False测试是否稳定：如果显存不再阶梯式上涨，问题就在这儿 - 若必须用多进程，确保
collate_fn返回纯 CPU 张量，GPU 转移只在model(input.to(device))这一步做 -
pin_memory=True仅在 CPU 内存足够（≥32G）、PCIe 带宽高（≥x16）时收益明显；否则关掉更稳
torch.compile() 在 Ampere 架构（RTX30/40系）上可能让显存峰值翻倍
PyTorch 2.0+ 的 torch.compile() 默认启用 "inductor" 后端，它为优化计算图会缓存多个版本的 kernel 和中间张量布局，尤其在动态 shape（如可变长序列）场景下，显存占用常比 eager 模式高 1.5–2x。
python-script-generator
下载
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
- 调试阶段先注释掉
model = torch.compile(model)，确认 baseline 显存用量 - 若必须用，加参数
dynamic=True并配合torch._dynamo.config.cache_size_limit = 16（默认 64），限制编译缓存数量 - 注意
torch.compile()和torch.cuda.amp.autocast()共用时，某些算子降级策略冲突，可能导致额外副本——把autocast移到torch.compile外层通常更安全
模型里藏着的显存炸弹：nn.CrossEntropyLoss 的 ignore_index 和 label shape
当标签含大量 ignore_index（如 -100），nn.CrossEntropyLoss 内部仍会为整个 logits tensor 计算 softmax，再 mask 掉 ignore 位置——这意味着显存占用与 logits.shape 完全正相关，和实际有效 token 数无关。
立即学习“Python免费学习笔记（深入）”；
- 如果 batch 中有大量 padding 或无效 token，优先用
torch.nn.functional.cross_entropy手动切片：只传入非 ignore 的 logits 和 targets 子集 - 检查 label 是否被错误广播：比如
targets.shape = (B,)却传了(B, 1)，PyTorch 会静默 broadcast 成(B, Vocab)，瞬间炸显存 - 使用 HuggingFace
Trainer时，确认data_collator没把 labels 做成 full-seq length 的 dense tensor；改用DataCollatorForSeq2Seq的label_pad_token_id=-100模式更省显存
torch.cuda.memory_summary()，别信直觉。 
