PyTorch 2.3+ 废弃 torch.quantization.quantize_dynamic，强制采用“先 torch.export 导出 FX 图，再 torch.ao.quantization.quantize_pt2e + convert_pt2e”两步量化流程，因旧 API 绕过图分析、不支持动态控制流且无法处理未导出模型。
PyTorch 2.3+ 不再推荐使用 torch.quantization.quantize_dynamic 这类旧量化 API，它已被标记为 deprecated；新方案以 torch.export + torch.ao.quantization（AO = Accurate & Optimized）为核心，必须分两步走：先导出标准化图，再做量化转换。
为什么不能直接调用 quantize_dynamic 了？
PyTorch 2.3 起，torch.quantization 模块整体移入 torch.ao.quantization，原函数仍存在但会触发 DeprecationWarning；更重要的是，动态量化在新范式下被重新设计为“导出后量化（post-export quantization）”，不再支持对任意 Python 控制流或未导出模型直接量化。
- 旧方式
quantize_dynamic(model, {nn.Linear}, ...)会绕过图结构分析，无法处理带if/for的自定义 RNN 或带torch.where的逻辑 - 新流程强制要求先用
torch.export获取一个静态、可追踪的 FX 图，这是所有后续量化操作的前提 - 即使你只量化
nn.Linear，如果模型 forward 中有非标准张量操作（比如手动拼接 hidden state），旧 API 可能静默失败或量化错层
正确流程：先 torch.export，再 convert_pt2e
这是 PyTorch 2.3+ 官方唯一支持的端到端路径，适用于 LSTM、Transformer 等动态控制流模型：
- 第一步：用
torch.export导出模型，生成ExportedProgram - 第二步：调用
torch.ao.quantization.quantize_pt2e对导出图做量化准备（插入 observer） - 第三步：用校准数据跑一次前向（仅对静态量化；动态量化可跳过此步）
- 第四步：调用
torch.ao.quantization.convert_pt2e得到最终量化模型
示例关键代码片段（LSTM 场景）：
立即学习“Python免费学习笔记（深入）”；
import torch
import torch.nn as nn
from torch.ao.quantization import get_default_quantization_config
from torch.ao.quantization.pt2e.quantizer import X86InductorQuantizer
from torch.ao.quantization.pt2e.quantize_pt2e import prepare_pt2e, convert_pt2e
<p>class SimpleLSTM(nn.Module):
def <strong>init</strong>(self):
super().<strong>init</strong>()
self.embed = nn.Embedding(1000, 64)
self.lstm = nn.LSTM(64, 128, batch_first=True)
self.head = nn.Linear(128, 10)</p><pre class='brush:python;toolbar:false;'>def forward(self, x):
x = self.embed(x)
x, _ = self.lstm(x)
return self.head(x[:, -1])model = SimpleLSTM().eval() example_input = torch.randint(0, 1000, (1, 20)) # 注意：必须是固定 shape 的 tensor
✅ 正确起点：导出
exported_model = torch.export.export(model, (example_input,))
✅ 配置量化器（动态量化用 X86InductorQuantizer）
quantizer = X86InductorQuantizer().set_global(get_default_quantization_config("int8")) prepared_gm = prepare_pt2e(exported_model.module(), quantizer)
⚠️ 动态量化无需校准，跳过 run calibration
quantized_gm = convert_pt2e(prepared_gm)
qconfig_spec 和层选择逻辑已彻底改变
旧版 quantize_dynamic(model, {nn.Linear, nn.LSTM}) 的白名单机制失效；新版必须通过 Quantizer 类配置规则，且 nn.LSTM 不再被自动识别为可量化模块——它会被展开成多个 call_function 节点（如 torch.ops.aten.lstm），需显式启用算子级量化：
- 默认
X86InductorQuantizer只支持linear、matmul、add等基础算子，不覆盖 LSTM 内部门控计算 - 若需量化 LSTM 权重，得继承
Quantizer并 override_annotate方法，手动给lstm调用节点加QConfig - 更现实的做法：只量化 embedding 层和输出 head 的
Linear，LSTM cell 保持 float —— 这正是官方 demo 的默认策略
容易忽略的关键约束
新流程对输入和模型结构有硬性限制，踩坑多发生在这些地方：
-
example_input必须是 concrete shape，不能含torch.Size([1, -1])或None；变长序列需 padding 到最大长度 - 模型中所有分支（如不同
len(input)走不同 path）必须在导出时被实际执行一次，否则该分支不会进图 -
torch.export不支持torch.jit.script模型，也不兼容nn.DataParallel包裹的模型 - 量化后模型只能用
torch.compile(..., backend="inductor")加速，不能直接送进 ONNX 或 TorchScript
真正落地时，最常卡在导出阶段——不是量化本身难，而是让模型“说得清、画得出”那张图，比以前更苛刻。
