正确做法是模型懒加载：顶层声明 model = None，首次请求时调用 load_model() 加载并执行 eval() 和 to(device)，gunicorn 多进程下各 worker 独立加载属正常设计。
模型加载时机不对，Flask 启动就卡死
直接在 app.py 顶层执行 joblib.load('model.pkl') 或 torch.load('best.pth')，会导致 Flask 进程启动时就加载数 GB 模型——尤其在 Docker 容器或低配服务器上，可能卡住几十秒甚至 OOM。这不是代码错，是加载策略错。
正确做法是把模型加载推迟到第一次请求到达时，用全局变量 + 懒加载（lazy load）控制：
- 声明
model = None在模块顶层，不加载 - 写一个
load_model()函数，内部加if model is None:判断 - 在
/predict路由开头调用它（不是每次请求都重载，只首次触发）
注意：多进程部署（如 gunicorn 启多个 worker）时，每个 worker 进程会各自执行一次懒加载，这是预期行为；别试图用文件锁或 Redis 标志去“全局只加载一次”，反而引入竞态和延迟。
PyTorch 模型加载后显存没释放，后续请求失败
常见错误是加载完模型没调用 .eval() 和 .to(device)，导致模型仍处于训练模式、参数梯度未关闭，且默认留在 CPU 上——等真正预测时再移 GPU，容易触发 RuntimeError: Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) should be the same。
立即学习“Python免费学习笔记（深入）”；
实操建议：
火焰围攻 授权: q15040409-creator.功能概述火焰围攻 授权: q15040409-creator.是一项面向实际任务的技能，主要用于Description.；Flask Web. - Python.；核心要点HTTP?；.Version.1.0.tags. wrap.github.automation.。它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。使用与执行使用时应结合输入条件选择合适的执行方式，核对必要参数、依赖环境与输出内容，并按原始要
- 加载后立刻执行
model.eval()，禁用 dropout/batchnorm 更新 - 显式指定设备：
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')，然后model.to(device) - 输入数据也要同步送入设备：
tensor.to(device)，不能只送模型 - 避免在路由函数里反复调用
torch.load()——它不等于“重新加载”，而是反序列化权重，开销大且不必要
joblib 加载 sklearn 模型慢，且并发请求时阻塞
joblib.load() 默认是单线程解压，对 >500MB 的模型（比如带大型特征向量的 TfidfVectorizer + RandomForestClassifier 组合）可能耗时 2~5 秒。如果多个请求几乎同时抵达，又恰好都卡在首次加载，就会排队等待，造成 P95 延迟飙升。
缓解方式有三个层次：
- 预热：启动 Flask 后，用脚本发一个
curl -X POST http://localhost:5000/predict触发加载，再正式对外服务 - 换序列化格式：对纯 sklearn 流水线，试试
sklearn.externals.joblib已弃用，改用joblib.dump(model, 'model.joblib', compress=3)，压缩等级 3 平衡速度与体积 - 分离组件：把向量化器（
vectorizer）和模型（model）分开保存、分别懒加载，避免一次读两个大对象
gunicorn + Flask 部署时模型被重复加载多次
用 gunicorn --workers 4 app:app 启动时，会 fork 出 4 个独立进程，每个进程都会走一遍懒加载逻辑——看起来浪费，但其实是合理设计。因为每个 worker 需要独立内存空间处理并发请求，共享模型对象反而引发线程安全问题（尤其 PyTorch 的 CUDA context 不跨进程）。
真正该警惕的是以下情况：
- 误用
threading.Lock尝试让多个 worker 协作加载——无效，进程间锁不互通 - 在
@app.before_first_request里加载模型——该装饰器在 Flask 2.2+ 已废弃，且多 worker 下行为不可靠 - 把模型存在全局 list/dict 里并反复 append —— 每个进程有自己的副本，数据不会同步
复杂点在于：你得接受“每个 worker 独立加载”是常态，而不是 bug。优化重点应放在单次加载速度（I/O、解压、设备迁移），而不是消灭重复。
