应使用 TorchScript 而非 torch.load，因其生成无 Python 依赖的 C++ 字节码，避免多进程反序列化失败；需 eval()、固定输入 shape/dtype、慎用 trace、优先 script；Flask 中全局单例加载并显式 .eval() 和 device 绑定；预处理确保 dtype/device 一致，输出转 CPU 再 tolist。
为什么不用 torch.load 直接加载模型文件？
因为 Flask 多进程（如用 gunicorn）下，torch.load 读取的 .pt 模型（尤其是含 Python 闭包、自定义类或 nn.Module 子类的）会触发反序列化失败或跨进程状态不一致。TorchScript 的 torch.jit.script 或 torch.jit.trace 输出是纯 C++ 可执行字节码，无 Python 运行时依赖，天然适合部署。
常见错误现象：AttributeError: 'ScriptModule' object has no attribute 'eval'（误把 traced 模型当普通 Module 调用方法）、RuntimeError: expected scalar type Float but found Double（输入 dtype 不匹配）。
- 必须在导出前调用
model.eval()并禁用 dropout/batch norm 更新 - trace 时的输入 shape 和 dtype 必须与线上请求完全一致（例如固定 batch=1、
torch.float32） - 若模型含动态控制流（如
if x.sum() > 0:），必须改用torch.jit.script，不能 trace
如何用 torch.jit.script 正确导出并验证模型？
不是所有模型都能被 trace 安全捕获，尤其含条件分支、循环或外部库调用（如 cv2、numpy）的。script 是更稳妥的选择，但要求模型代码能被 TorchScript 静态分析。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 先在训练脚本中加装饰器：
@torch.jit.script到前向函数，或直接调用torch.jit.script(model) - 导出后立即用 dummy 输入验证：
traced_model(torch.randn(1, 3, 224, 224))，确保不报错且输出 shape 正确 - 保存时用
traced_model.save("model.pt")，不是torch.save - 检查是否含不可导出内容：运行
print(traced_model.graph)，避免出现prim::PythonOp
Flask 中如何安全加载和复用 ScriptModule？
不能在每次请求里 torch.jit.load —— 开销大且多进程下可能竞争文件句柄。必须全局单例加载，并注意 device 绑定。
关键点：
- 在 Flask app 初始化前加载：
model = torch.jit.load("model.pt").to("cuda" if torch.cuda.is_available() else "cpu") - 务必调用
model.eval()（即使导出时已设，加载后仍需显式调用） - 如果用 CPU 部署，确认
torch.set_num_threads(1)防止 OpenMP 内部线程爆炸 - 避免在 route 函数内做任何 model 修改操作（如
model.train()），否则破坏状态一致性
怎么处理异步请求中的 tensor 输入/输出转换？
Flask 原生不支持 async/await 路由（除非用 Quart），所谓“异步请求”实际指：接收 JSON → 同步预处理 → 异步 offload 到 GPU → 同步后处理 → 返回。真正的并发靠多 worker 或线程池，不是单个请求异步化。
常见陷阱：
- 用户传 base64 图片，
torch.tensor(np.array(Image.open(...)))会默认生成int64，而模型需要float32；必须显式.float() / 255.0 - GPU 推理时，输入 tensor 必须和 model 在同一 device：
tensor.to(model.device)，不能只写.cuda()（device 可能是 cuda:1） - 返回 JSON 时，
output.tolist()对 large tensor 极慢，优先用output.cpu().numpy().tolist() - 若用
concurrent.futures.ThreadPoolExecutor包裹推理，注意 PyTorch 的 CUDA context 不跨线程，必须在主线程做 GPU 操作
最简健壮路径是：同步接收 → CPU 预处理 → .to(device) → model() → .cpu() → 后处理 → JSON。所谓“异步”应交给 Nginx + gunicorn worker 数或 Kubernetes 水平扩缩来解决，而非在 Flask 层强行 asyncio。
