PyTorch 1.13+ 已移除 eager 模式下 fbgemm/qnnpack 的静态 INT8 推理支持,真正 INT8 计算仅可通过 TorchScript + QNNPACK lowering 实现,且需 script 导出、环境变量启用及 float 输入。

PyTorch 1.13+ 的 torch.ao.quantization 不再支持静态 INT8 后端推理
直接说结论:PyTorch 官方自 1.13 起已移除对 fbgemm 和 qnnpack 后端的静态 INT8 推理支持(即 torch.int8 权重 + torch.quint8 激活的纯整数推理路径),quantize_static 流程默认产出的是“量化感知训练(QAT)风格”的 fake-quant 模型,或仅支持 torch.float 输出的 eager 模式量化模型。真正意义上的静态 INT8 推理(weight: int8, activation: int8, kernel: int8 x int8 → int32)需依赖 TorchScript + backend-specific lowering,而 PyTorch 主线已不维护该路径。
想跑真实 INT8 推理?必须走 TorchScript + torch._C._jit_pass_dedup_quantized_ops 流程
这是目前唯一能在 PyTorch 中触发底层 INT8 kernel(如 QNNPACK 的 conv2d_prepack + conv2d 整数链路)的方式,但要求严格:
-
model必须先完成prepare_qat或prepare+convert,且只使用qconfig = get_default_qconfig('qnnpack')或'fbgemm' - 必须用
torch.jit.script(model)或torch.jit.trace(model, example_input)导出,不能用torch.jit.save后再加载——动态 shape 会破坏 quantizer binding - 必须在调用前设置环境变量:
os.environ["PYTORCH_QNNPACK_ENABLE"] = "1"(Linux/macOS)或确保 QNNPACK 已编译进 PyTorch - 输入 tensor dtype 必须为
torch.float,不能是torch.quint8;输出仍是torch.float,但中间计算全程走 INT8
示例关键片段:
import torch
import torch.nn as nn
from torch.ao.quantization import get_default_qconfig, prepare, convert
<p>model = nn.Sequential(nn.Conv2d(3, 16, 3), nn.ReLU(), nn.AdaptiveAvgPool2d(1))
model.eval()
model.qconfig = get_default_qconfig('qnnpack') # 注意不是 'fbgemm'(x86)或 'qnnpack'(ARM)
prepare(model, inplace=True)</p><h1>此处需用 calibration 数据 forward 若干次</h1><p>convert(model, inplace=True)</p><div class="aritcle_card flexRow">
<div class="artcardd flexRow">
<a class="aritcle_card_img" href="/xiazai/skill13278" title="Camoufox Open Source Anti-Detect Browser for Python Automation"><img
src="https://img.php.cn/upload/skill/001/246/273/6adaf20e352aa140.jpg" alt="Camoufox Open Source Anti-Detect Browser for Python Automation" ></a>
<div class="aritcle_card_info flexColumn">
<a href="/xiazai/skill13278" title="Camoufox Open Source Anti-Detect Browser for Python Automation">Camoufox Open Source Anti-Detect Browser for Python Automation</a>
<p>Camoufox 是一个基于 Firefox 构建的开源反检测浏览器,为 Python 自动化工作流程提供强大的指纹注入和反机器人检测规避功能。它与 Playwright 集成,以提供能够绕过现代机器人检测系统的隐身浏览能力。</p>
</div>
<a href="/xiazai/skill13278" title="Camoufox Open Source Anti-Detect Browser for Python Automation" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
</div>
</div><p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">Python免费学习笔记(深入)</a>”;</p><p>scripted = torch.jit.script(model) # 必须 script,trace 也可但需固定 shape
scripted = torch.jit.freeze(scripted) # 可选,提升启动速度
out = scripted(torch.randn(1, 3, 224, 224)) # 输入 float,内部走 INT8 计算</p>
torch.ao.quantization.quantize_dynamic 和 quantize_static 的本质区别
很多人混淆这两个 API 的输出类型:
-
quantize_dynamic(model, {nn.Linear}, dtype=torch.qint8)→ 权重转torch.qint8,激活仍为torch.float,无 activation observer,不校准,适合小模型或低延迟场景 -
quantize_static(model, calib_data_loader, ...)→ 实际调用的是prepare+convert,输出仍是float输出模型,activation 用torch.quint8表示范围,但计算时自动反量化 —— 这不是 INT8 推理,只是“带 scale/zero_point 的 float 模拟” - 二者均不生成
torch.int8激活 tensor;PyTorch 的 eager mode 下没有torch.int8activation 的 forward pass
真要部署 INT8 模型?别卡在 PyTorch eager,换 ONNX + TensorRT / TVM
PyTorch 的量化流程本质是“为导出服务”,不是为本地 INT8 推理设计的。生产中更可靠的做法是:
- 用
torch.ao.quantization.prepare+convert得到量化模型 - 用
torch.onnx.export(..., opset_version=13, operator_export_type=torch.onnx.OperatorExportTypes.ONNX_ATEN_FALLBACK)导出(注意开启enable_onnx_checker=False) - 用
onnxsim简化,再交给 TensorRT(INT8 mode + calibration cache)或 TVM(withrelay.quantize.quantize)做真正硬件级 INT8 编译 - 绕过 PyTorch 的
qnnpack限制,也避免 macOS/Windows 下 QNNPACK 不可用的问题
最容易被忽略的一点:PyTorch 的 static quantization 校准(calibration)本身不保证数值等价性,不同 backend(QNNPACK vs fbgemm)对 same model + same qconfig 的 scale/zero_point 推导可能不同,且无法跨平台复现 —— 所以别把校准结果当金标准,务必在目标设备上实测 latency 和 accuracy drop。

















