autocast单独使用无法提升QPS，因其仅自动降级中间计算而不动模型权重和输入；必须协同model.half()、input.half()及支持FP16的GPU算子，四者对齐才能释放Tensor Core性能。
PyTorch 的 torch.cuda.amp.autocast 能显著提升 GPU 推理吞吐（QPS），但默认开启未必安全——它只对部分算子做半精度降级，模型权重仍为 float32，不显式转换会白忙一场。
为什么开了 autocast QPS 却没变高？
常见现象：加了 @torch.cuda.amp.autocast() 装饰器或 with torch.cuda.amp.autocast(): 块，GPU 显存下降了，但延迟和 QPS 几乎不变。
- 根本原因：模型参数仍是
float32，autocast仅影响前向计算中中间张量的 dtype，而float32参数与float16输入做 matmul 时，CUDA 会隐式 cast 回float32执行，失去加速收益 -
autocast不修改模型本身，也不触碰输入数据类型；它只是“建议”某些 OP 用float16算，但底层是否执行取决于 CUDA kernel 支持程度（如LayerNorm、Softmax在 Amp 下常 fallback 到float32） - 典型误用：
model(input)前没把input转成torch.float16，导致输入是float32，autocast 失效
必须搭配 model.half() 和 input.half()
真正提速的关键不是单独用 autocast，而是让整个前向链路尽可能走 float16 路径。这需要三步协同：
- 调用
model.half()将所有可转参数（weight、bias）转为torch.float16—— 注意：只对nn.Linear、nn.Conv2d等支持 half 的模块生效；nn.BatchNorm2d等不支持的层会报错或静默失败 - 确保输入
input是torch.float16类型（例如input = input.half()），否则autocast不会触发降级逻辑 - 在推理时包裹
with torch.cuda.amp.autocast():，让内部 OP（如 GEMM、ReLU、SiLU）有机会用float16kernel 执行；尤其对大矩阵乘法，float16吞吐通常是float32的 2–3 倍
示例片段：
Claw Code Suite (Python-Only Edition)
下载
仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...
立即学习“Python免费学习笔记（深入）”；
model = model.eval().cuda().half() # 关键：先 half 再 cuda input = input.cuda().half() # 关键：输入也必须 half <p>with torch.cuda.amp.autocast(): output = model(input)
哪些模型结构容易踩坑？
不是所有模型都能直接 .half() + autocast 安全跑通，以下结构需特别注意：
-
nn.BatchNorm2d/nn.BatchNorm1d：不支持float16输入，运行时报RuntimeError: expected scalar type Half but found Float；解决方法是替换为nn.InstanceNorm2d，或保留 BN 层为float32（手动bn.float()），再用autocast(enabled=False)临时关闭 - 自定义 OP 或第三方 layer（如
DeformableConv2d）：可能未注册float16kernel，强制 half 后 crash；建议先用torch.cuda.amp.custom_fwd包装 forward - 输出含
torch.argmax、torch.max等索引操作：它们对 dtype 不敏感，但若上游是float16，要注意数值范围（如 softmax 输出过小值可能 underflow 成 0） - 使用
torch.jit.trace导出模型时：.half()后 trace 可能失败；应先 trace 再.half()，或改用torch.compile(model, dynamic=True)（PyTorch 2.0+）
QPS 提升不稳定？检查 GPU 利用率和 batch size
即使代码写对，QPS 也可能波动很大，核心瓶颈常不在计算本身：
- 小 batch（如
batch_size=1）下，kernel 启动开销占比高，float16加速被掩盖；建议压测时从batch_size=8起步，观察 GPU 利用率（nvidia-smi中Util%是否持续 >70%） - 数据加载成为瓶颈：
Dataset.__getitem__中图像 decode、normalize 若在 CPU 做，会严重拖慢 pipeline；务必用torch.cuda.Stream预加载 +pin_memory=True+num_workers>0 - 混合精度下梯度缩放（
GradScaler）只用于训练；推理完全不需要，误加会引入额外 overhead - 某些卡（如 T4）对
float16支持弱于 A100/V100，实测 QPS 提升可能仅 1.2x 而非 2x；可用torch.cuda.get_device_properties(0).major查看 compute capability（≥7.0 才有完整 Tensor Core 支持）
真正起作用的从来不是某一行 autocast，而是模型 dtype、输入 dtype、CUDA kernel 能力、数据流水线四者对齐。少一个，QPS 就卡在原地不动。
