torch.cuda.amp不能直接套在模型外面，因其仅动态插入autocast和GradScaler逻辑，不修改模型结构或参数类型；需协同对齐权重（float32）、输入（float32）与损失（autocast外调用），并严格按scaler.scale→step→update顺序执行。
为什么torch.cuda.amp不能直接套在模型外面就完事？
因为torch.cuda.amp不是黑盒加速器，它只负责在前向/反向传播中动态插入autocast上下文和GradScaler缩放逻辑，不修改模型结构或参数类型。如果你只是把model = model.half()再塞进autocast，大概率会报RuntimeError: expected scalar type Float but found Half——这是混合精度里最典型的类型错配错误。
关键点在于：模型权重、输入数据、损失计算三者必须协同对齐。PyTorch的autocast默认只对部分算子做FP16推理（如matmul、conv2d），但nn.CrossEntropyLoss等损失函数仍需FP32输入，否则logits精度丢失会导致梯度爆炸或NaN。
-
model保持torch.float32初始化，不要手动调.half() - 输入
data和target用原始精度（通常为float32），autocast会在内部自动转FP16做计算 - 损失函数必须在
autocast外调用，或显式用with torch.cuda.amp.autocast(enabled=False)退出上下文
训练循环里GradScaler缩放步骤漏掉哪一环就白搭
GradScaler不是可选配件，它是对抗FP16梯度下溢的核心机制。常见错误是只调了scaler.scale(loss).backward()，却忘了scaler.step(optimizer)和scaler.update()——前者触发带缩放的参数更新，后者更新内部缩放因子（比如连续几次没溢出就增大scale值）。
更隐蔽的问题是optimizer.step()被误写在scaler.step()之前，导致优化器用未缩放的梯度更新，而scaler.step()又尝试清空已消耗的梯度，引发RuntimeError: trying to call step() on optimizer with no gradients。
立即学习“Python免费学习笔记（深入）”；
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 必须严格按顺序：
scaler.scale(loss).backward()→scaler.step(optimizer)→scaler.update() - 如果
scaler.step()因梯度溢出失败（返回None），scaler.update()仍要调用，否则下次scale不会衰减 - 多卡DDP场景下，
scaler无需额外处理，它自动适配torch.nn.parallel.DistributedDataParallel
autocast的dtype参数不是总能乱设
虽然torch.cuda.amp.autocast(dtype=torch.float16)看起来合理，但实际在Ampere架构（如A100、RTX 3090）上，torch.bfloat16往往更稳——它和FP32有相同指数位宽，能避免大量FP16易出现的下溢/溢出，且Tensor Core原生支持。但bfloat16在旧卡（如V100）上不可用，会直接抛RuntimeError: Device does not support bfloat16。
别硬编码dtype，先查设备能力：
if torch.cuda.is_bf16_supported():
amp_dtype = torch.bfloat16
else:
amp_dtype = torch.float16
另外注意：autocast只影响CUDA算子，CPU模型或.to('cpu')的数据不会被转换，此时enabled=False自动生效，无需手动判断设备。
验证混合精度是否真生效的三个硬指标
光看训练速度提升不保险。得盯住三处输出：
- 显存占用：用
nvidia-smi对比开启前后，典型下降25%–40%（FP16权重+激活节省一半空间） - 前向耗时：在
autocast块内加torch.cuda.synchronize()测毫秒级差异，注意排除首次启动开销 - 梯度检查：在
scaler.scale(loss).backward()后，打印model.layer.weight.grad.dtype，应为torch.float32（GradScaler保证反向梯度始终FP32）
最容易被忽略的是loss曲线异常：如果scaler没正确update导致长期高scale，loss可能缓慢上升却不报错；或者autocast范围过大，把softmax前的logits全压成FP16，分类任务准确率会明显掉点。这时候得用torch.autograd.set_detect_anomaly(True)临时打开异常检测。
