直接用 python app.py 启动模型服务在 Docker 中不靠谱，因其单线程、无进程管理、不响应 SIGTERM，易致容器崩溃；生产环境须用 Gunicorn 等 WSGI 服务器托管，配合 --preload、--workers 1、--timeout 等参数保障稳定性。
为什么直接用 python app.py 启动模型服务在 Docker 里不靠谱
因为生产环境需要并发处理请求、进程管理、信号响应和优雅重启，而 Python 自带的 http.server 或简单 Flask.run() 是单线程、无守护、不抗压的开发模式。Docker 容器退出时若主进程崩溃或没正确响应 SIGTERM，Kubernetes 或 docker-compose 就会反复拉起失败容器。
真实场景下必须用 WSGI 服务器托管 Flask/FastAPI 应用，Gunicorn 是最轻量且兼容性最好的选择——它能 fork 多 worker、支持 preload 模式减少冷启动、可配置超时与最大请求数防内存泄漏。
-
Gunicorn不是替代 Flask 的框架，而是它的“运行时容器”，就像 Nginx 是静态文件的容器一样 - 别在
Dockerfile中写CMD ["python", "app.py"]，这等于裸跑，上线即崩 - worker 数量别设成 CPU 核数 × 2——ML 模型加载后内存吃紧，通常 1~2 个 sync worker +
--preload更稳
Dockerfile 里怎么装模型依赖又不让镜像爆炸
Python 机器学习项目常含 torch、tensorflow、scikit-learn 等大体积包，直接 pip install -r requirements.txt 会导致镜像层臃肿、构建慢、缓存失效频繁。
关键不是“少装”，而是“分层装”：把不变的基础依赖（如 numpy、gunicorn）和易变的模型代码/权重分开缓存。
立即学习“Python免费学习笔记（深入）”；
- 用多阶段构建：第一阶段用
python:3.9-slim编译torch（若需 CUDA 则换pytorch/pytorch:latest），第二阶段只拷二进制依赖 - 把模型文件（
.pkl、.pt）放在COPY最后一步，避免因模型更新导致前面所有层缓存失效 -
requirements.txt分三类：基础运行（gunicorn、flask）、计算库（numpy、scipy）、模型专用（transformers、xgboost），按顺序pip install - 加
RUN pip install --no-cache-dir -r requirements.txt，禁用 pip 缓存可减小镜像体积约 100–300MB
Gunicorn 启动命令里的几个致命参数不能漏
默认 gunicorn app:app 会用同步 worker、无超时、无限请求，对加载了 GB 级模型的进程就是定时炸弹。
必须显式控制生命周期和资源边界：
-
--workers 1：ML 模型通常全局加载一次，多 worker 会重复载入模型，爆内存；用--preload让主进程加载后再 fork -
--timeout 120：防止长推理卡住整个 worker；配合 Flask 的before_request做请求级超时兜底 -
--keep-alive 5：HTTP 长连接保持时间，太长占连接数，太短增加 handshake 开销 -
--bind 0.0.0.0:8000 --bind-once --worker-tmp-dir /dev/shm：绑定地址必须是0.0.0.0（非127.0.0.1），/dev/shm提升 IPC 效率，尤其用joblib并行时 - 别加
--reload：Docker 里代码不会热更，反而引发 fork 异常
容器启动后模型加载慢、首次请求超时怎么办
根本原因不是 Gunicorn 启动慢，而是模型在第一个请求进来时才初始化——Flask 的 @app.before_first_request 已被弃用，且无法保证预热成功。
正确做法是在 Gunicorn 的 on_starting 钩子或自定义入口脚本中完成模型加载：
- 写一个
entrypoint.sh，先执行python preload_model.py（里面调用model = torch.load(...)并做 dummy inference），再 execgunicorn ... - 或者用 Gunicorn 的
--preload+ 在app.py模块顶层加载模型（注意：必须确保所有 import 和初始化都在模块级，不在函数内） - 检查日志是否出现
WARNING: This model was saved with version X but you are using version Y—— PyTorch 版本不一致会导致torch.load卡死数分钟 - Docker run 时加
--memory=2g --memory-swap=2g，防止 OOM Killer 杀掉正在加载模型的进程
模型预热这事，不写进启动流程里，就永远不知道第一次请求要等多久。
