不能用 CMD ["python", "app.py"] 启动 Flask/FastAPI 服务，因其使用开发服务器（如 app.run() 或 uvicorn.run()），单线程、无进程管理、不处理 SIGTERM，导致容器无法优雅终止；且模型加载若放在路由中会重复执行，引发内存暴涨和 QPS 瓶颈；同时默认不监听 0.0.0.0 或缺乏并发支撑，造成访问失败或服务假死。
直接用 python app.py 启动 Flask/FastAPI 服务进 Docker，上线后大概率会挂——不是崩在高并发，就是死在 SIGTERM 信号没响应，或者模型加载慢导致健康检查失败。
为什么不能用 CMD ["python", "app.py"] 启动
Python 自带的 app.run() 或 uvicorn.run() 是开发模式：单线程、无进程管理、不捕获 SIGTERM，容器被 docker stop 或 Kubernetes 驱逐时无法优雅退出，日志里常看到 Killed 或 exit code 137。更麻烦的是，每次请求都重新加载模型（比如 torch.load() 放在路由函数里），QPS 上不去还吃光内存。
- Flask 默认
app.run()不监听0.0.0.0，容器内无法被外部访问 - FastAPI 的
uvicorn.run()在容器主进程里跑，无法 fork worker，扛不住并发 - 没设超时，一个卡住的预测请求会让整个进程 hang 住
Gunicorn 启动必须加的参数
Gunicorn 是最稳妥的 WSGI 容器，对 ML 模型服务尤其友好。别只写 gunicorn app:app，这几个参数漏一个都可能出问题：
-
--preload：让所有 worker 共享同一份已加载的模型对象，避免每个 worker 单独 load 导致内存翻倍 -
--workers 1：ML 模型通常是 CPU/GPU 密集型，开多 worker 反而争抢资源；1 个 sync worker + preload 更稳 -
--timeout 60：防止单次推理卡死，60 秒强制 kill 并重启 worker -
--keep-alive 5：减少连接频繁建立开销，适合短连接 API 场景 -
--bind 0.0.0.0:8000 --workers 1 --preload --timeout 60 --keep-alive 5是推荐最小启动集
Dockerfile 分层优化关键点
镜像体积大、构建慢、缓存失效频繁，根本原因不是包多，而是 COPY 和 RUN 没分清“变”与“不变”：
立即学习“Python免费学习笔记（深入）”；
Docker Image Puller
下载
使用 Python 脚本下载 Docker 镜像并打包为 tar 文件。用户说“下载镜像”“拉取镜像”“pull xxx”“帮我下载 nginx 镜像”等时触发。支持 SOCKS5 代理直连（推荐）和国内镜像站加速两种模式。
- 把
requirements.txt单独 COPY 再RUN pip install --no-cache-dir -r requirements.txt，基础依赖层可复用 - 模型文件（
.pt、.pkl）放在最后COPY，否则改个权重就重装所有 pip 包 - 用
python:3.9-slim基础镜像，别用python:3.9（含大量 dev 工具，徒增 200MB） - 如果用 torch/tensorflow，优先选官方预编译镜像（如
pytorch/pytorch:2.3.0-cuda12.1-cudnn8-runtime），省去编译时间
模型加载必须是全局且一次性的
FastAPI/Flask 的生命周期里，模型加载代码绝不能写在路由函数里。正确做法是在模块顶层或 lifespan 事件中完成：
# main.py
from fastapi import FastAPI
import torch
from my_model import MyNet
<p>app = FastAPI()</p><h1>✅ 全局加载，服务启动时执行一次</h1><p>device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = MyNet().to(device)
model.load_state_dict(torch.load("model.pt", map_location=device))
model.eval()</p><p>@app.post("/predict")
def predict(...):</p><h1>直接用已加载的 model，不重复 load</h1><pre class="brush:php;toolbar:false;"><code>...
容易忽略的是：GPU 模型在容器里要显式加 --gpus all 才能访问设备，且 torch.cuda.is_available() 在没挂载 GPU 时返回 False，得有 CPU fallback 路径，否则容器直接启动失败。
