torch.compile最适合结构标准、输入shape固定、主体在GPU运行的中等规模模型；需显式设fullgraph=True、dynamic=False，并在eval后调用，避免动态控制流与小模型场景。
PyTorch 2.0 的 torch.compile 在多数推理场景下能提速，但不是“开箱即用就快”——它对模型结构、输入 shape 稳定性、硬件（尤其是 CUDA 版本）敏感，盲目套用反而可能变慢或报错。
哪些模型适合用 torch.compile 加速推理？
它最适合满足以下条件的模型：
- 使用标准 PyTorch 原语（
nn.Linear、nn.Conv2d、F.relu等），不含动态控制流（如if x.sum() > 0:）、自定义 C++/CUDA 扩展或依赖外部状态的模块 - 推理时输入
shape固定（例如 batch=1, seq_len=512），否则会触发多次重编译，开销抵消收益 - 模型主体在 GPU 上运行（CPU 推理目前不支持大部分后端，
inductor后端仅限 CUDA） - 不是极小模型（如单层
nn.Linear）——编译本身有 ~100ms~ 数秒冷启动开销，小模型跑一次根本摊不平
torch.compile 的推荐调用方式和关键参数
不要只写 model = torch.compile(model) 就完事。默认配置（mode="default" + backend="inductor"）在推理中常非最优：
- 用
fullgraph=True强制图完整 —— 避免因 Python 控制流打断图导致降级为 eager 模式 - 设
dynamic=False（默认是None）：显式禁用动态 shape 支持，减少编译分支，提升稳定性和速度 - 避免在
eval()前调用compile：确保模型已进入 eval 模式，否则 dropout/batchnorm 行为异常 - 示例正确写法：
model = model.eval()
compiled_model = torch.compile(
model,
fullgraph=True,
dynamic=False,
backend="inductor"
)
注意：backend="inductor" 要求 CUDA >= 11.8，且 PyTorch 2.0+ 编译时启用了 inductor 支持（conda/pip 官方包通常满足）。
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
立即学习“Python免费学习笔记（深入）”；
常见失败现象和绕过方法
你可能会遇到这些典型问题：
-
RuntimeError: dynamo guard failure：说明某处 shape 或 dtype 在编译时无法推断（比如用了.size(0)参与计算但未标记为 symbolic）。解决：改用torch.export.export预先导出，或手动固定输入 shape - 编译后首次 forward 极慢（>10s），后续变快：这是正常冷启动；但若反复变慢，检查是否在循环里重复调用
torch.compile（应只 compile 一次） - 结果数值偏差 >1e-4：启用
mode="reduce-overhead"或"max-autotune"可能引入近似算子（尤其 AMP 下）。生产环境建议先用mode="default"+dynamic=False验证精度 - CPU 推理报错
Backend 'inductor' is not available：inductor 当前不支持 CPU 后端，可试backend="aot_eager"（无加速）或暂不编译
真正起效的加速点往往藏在中等规模模型（如 ViT-Base、Llama-2-7B）+ 固定 batch 推理中；而小模型、动态长度文本生成、或含大量 torch.where/torch.nonzero 的检测模型，容易踩坑。动手前先用 torch._dynamo.explain 看一眼哪些子图被跳过，比盲目调参更省时间。
