TensorFlow Serving生产部署应采用gRPC服务+FastAPI协议转换方案，SavedModel须用tf.keras.models.save_model显式指定tf格式并确保版本目录结构正确，启动需同时配置--rest_api_port和--enable_batching，gRPC客户端需版本严格匹配且stub全局复用。
TensorFlow Serving 是目前最稳妥的生产级部署方案，但直接用它暴露 HTTP API 会踩坑——它原生只提供 gRPC 接口，HTTP 需额外加一层代理或改用 tensorflow-serving-api 的 Python 封装，而后者在高并发下不稳定。真正可靠的做法是保留 TF Serving 的 gRPC 服务，再用轻量 Web 层（如 Flask/FastAPI）做协议转换。
导出 SavedModel 格式必须用 tf.keras.models.save_model，别用 model.save 默认路径
TF Serving 只认标准 SavedModel 目录结构（含 saved_model.pb 和 variables/ 子目录）。model.save('my_model') 在 TF 2.x 默认行为可能写成 HDF5（.h5），或路径里混入时间戳导致版本管理混乱。
- 显式指定格式：
tf.keras.models.save_model(model, 'models/my_model/1', save_format='tf')
注意末尾的1是版本号目录，TF Serving 按数字升序加载最新版 - 确保目录权限为 755，且
variables/下文件可读——容器内常因挂载方式丢失执行权限，启动时报Failed to get matching files - 验证导出是否有效：
saved_model_cli show --dir models/my_model/1 --all，确认 signature_def 里有serving_default且 input tensor 名与你后续请求一致
启动 TF Serving 容器时，--rest_api_port 不等于开启完整 HTTP 服务
TF Serving 从 2.10 开始内置实验性 REST API，但仅支持基础 predict 请求，不支持 model status、version switching 等管理接口，且默认关闭。关键参数不是 --rest_api_port 单独生效。
- 必须同时加
--enable_batching=true（否则 batch size=1 时延迟飙升）和--rest_api_port=8501 - 容器启动命令示例：
docker run -p 8501:8501 -p 8500:8500 --mount type=bind,source=/path/to/models,target=/models/my_model -e MODEL_NAME=my_model -t tensorflow/serving --rest_api_port=8501 --enable_batching=true
- 常见错误：用
curl http://localhost:8501/v1/models/my_model返回 404——检查MODEL_NAME是否与目录名完全一致（区分大小写），且模型版本目录名是纯数字
用 FastAPI 封装 gRPC 调用比直连 REST API 更可控
TF Serving 的 REST 接口对输入格式极其敏感：instances 字段必须是 list of dict，哪怕单样本也要包一层；图像 base64 编码后需额外处理；batch 维度缺失时自动广播易引发隐式 bug。gRPC + Python stub 则类型明确、性能稳定。
立即学习“Python免费学习笔记（深入）”；
- 安装客户端：
pip install tensorflow-serving-api（版本必须与服务端 TF Serving 严格一致，如服务端是 2.15.0，客户端不能是 2.16.0） - 关键代码片段：
from tensorflow_serving.apis import predict_pb2, prediction_service_pb2_grpc import grpc stub = prediction_service_pb2_grpc.PredictionServiceStub(grpc.insecure_channel('localhost:8500')) request = predict_pb2.PredictRequest() request.model_spec.name = 'my_model' request.model_spec.signature_name = 'serving_default' request.inputs['input_1'].CopyFrom(tf.make_ndarray(tf.constant([[1.0, 2.0]]))) # 注意 input 名要和 saved_model_cli 输出一致 - FastAPI 路由中不要在每次请求里新建 stub——gRPC channel 是线程安全的，应全局复用；否则高并发下 fd 耗尽，报错
OS Error: Too many open files
真正难的是模型热更新和流量灰度——TF Serving 支持多版本共存，但切换路由依赖外部负载均衡或自定义 ModelServer 配置；而 Python 层做 A/B 测试时，tensor 输入预处理逻辑若放在 FastAPI 里，就和模型耦合了，下次换框架就得重写。这些细节比“怎么跑起来”更消耗上线时间。
