不是必须，但绝大多数场景下需用 torch.quantization 或其新路径 torch.ao.quantization，因官方仅对二者提供完整支持；PyTorch 2.0+ 推荐使用 torch.ao.quantization。
PyTorch量化必须用 torch.quantization 吗？
不是必须，但绝大多数场景下得用它——因为 PyTorch 官方只对 torch.quantization（含 torch.ao.quantization 新路径）提供完整支持。自定义 fake-quant 算子或手动替换权重虽然可行，但容易在导出 ONNX 或部署到移动端时失败。
注意：PyTorch 2.0+ 已将量化模块迁移至 torch.ao.quantization（ao = “accelerated ops”），旧版 torch.quantization 仍可用但处于维护模式。新项目建议直接用 torch.ao.quantization。
-
torch.ao.quantization.quantize_fx更适合动态图/函数式模型（如 TorchScript 之前、含 control flow 的模型） -
torch.ao.quantization.quantize_dynamic仅量化权重（不插桩 activation），适合 LSTM、Transformer 的线性层，延迟降得快但精度损失可能明显 - 训练后静态量化（
quantize_static）需校准数据，必须跑一个 mini-batch 的前向来收集 activation 分布
校准阶段报错 RuntimeError: quantize_per_tensor(): expected scalar type float but found qint8
这是典型的数据类型混乱：校准过程中模型已部分插入 fake-quant node，但输入 tensor 还是原始 float32，而某些算子（如 add 或 cat）的输入被误当成量化后张量处理了。
根本原因通常是模型里存在未被量化器识别的自定义操作，或 forward 中手动调用了 .to(torch.int8) 类型转换。检查点包括：
立即学习“Python免费学习笔记（深入）”；
- 确认所有子模块都继承自
nn.Module，且没有用torch.tensor(...).cuda()硬编码创建新 tensor - 校准前调用
model.eval()，并禁用 dropout / batchnorm 更新：model.train(False) - 校准数据必须和训练时一致（归一化、尺寸、通道顺序），否则 activation 统计失真，后续量化权重会崩
- 若用
quantize_fx，确保传入的example_inputs是 tuple，例如(torch.randn(1,3,224,224),)，不能是单个 tensor
量化后推理速度没变快，甚至更慢？
量化本身不自动加速——它只是把计算从 float32 换成 int8，真正提速依赖底层是否启用 INT8 kernel。PyTorch 默认 CPU 后端（fbgemm）支持，但需满足条件：
- 必须用
torch.backends.quantized.engine = "fbgemm"（Linux）或"qnnpack"（Android/macOS），Windows 下 fbgemm 不可用，性能几乎无提升 - 模型中大量使用非量化友好结构：比如逐元素操作（
torch.where）、动态 shape（torch.splitwith variable sections）、或自定义 C++ extension，这些都会 fallback 到 float 路径 - batch size 太小（如 1），INT8 并行收益被 kernel launch 开销抵消；实测 batch=4~16 通常开始显效
- 没关闭梯度：即使 inference，也要加
with torch.no_grad():，否则 autograd graph 构建拖慢 2x+
验证是否真走 INT8：在量化后模型上加 print(model.layer1[0].conv1.weight().dtype)，应输出 torch.qint8；再用 torch.profiler 看 kernel 名是否含 fbgemm。
导出为 TorchScript 后量化失效？
常见于用 torch.jit.trace 直接 trace 量化模型——trace 会把 fake-quant node 当作普通运算固化下来，失去量化语义。正确做法只有两种：
- 先用
quantize_static或quantize_fx得到量化模型，再用torch.jit.script（不是 trace！）封装，前提是模型不含 control flow 外部依赖 - 更稳妥的是跳过 TorchScript，直接保存为
state_dict+ 量化配置字典，部署时用相同代码重建量化模型（尤其适合服务端） - 若必须用 trace，请在校准完成后、量化完成前，用
torch.ao.quantization.convert将 fake-quant 转为真实 int8 weight，再 trace ——但此时无法再做 calibration，精度风险高
真正容易被忽略的是：量化模型的 forward 输入必须是 uint8 或 int8 归一化后的数据（如 0–255 图像需先除以 255.0 再转 float），而不是原始像素值。这个预处理步骤一旦漏掉，输出就完全不可信。
