TensorFlow原生GPU推理慢因未深度优化，需TensorRT接管计算密集子图；必须用frozen graph、预留显存、校准int8、序列化engine文件，并注意TF2.x已弃用内置TRT API。
TensorFlow 原生 GPU 推理在很多实际部署场景下确实偏慢——不是模型本身不行，而是默认执行路径没做深度图优化、没用上最优 kernel、也没做精度压缩。直接用 tf.function 或 tf.keras.Model.predict 跑，往往只发挥出 GPU 算力的 30%～50%。真正提速的关键不在换框架，而在让 TensorRT 接管计算密集子图。
TensorRT 加速 TensorFlow 的核心限制：必须用 frozen graph + 显存分区
TensorRT 对 TensorFlow 的集成不是“插件式启用”，它依赖冻结图（frozen_graph.pb）作为输入，并且要求你在初始化时就划清 GPU 显存归属。常见错误是直接对 tf.keras.Model 对象调用 trt.create_inference_graph，结果报错 NotImplementedError: Cannot convert a symbolic Tensor。
实操要点：
- 必须先用
tf.graph_util.convert_variables_to_constants或tf.saved_model.save→tf.saved_model.load→concrete_function导出 frozen graph（.pb） - 启动 session 前，用
tf.GPUOptions(per_process_gpu_memory_fraction=0.67)预留至少 30% 显存给 TensorRT 引擎，否则create_inference_graph会静默失败 - TensorRT 只加速 Conv2D/ReLU/BatchNorm/FullyConnected 类子图，RNN、自定义 op、动态 shape 控制流（如
tf.while_loop）会被跳过，这部分仍走 TF 原生路径
fp16 和 int8 量化不是开个开关就完事
TensorRT 的 fp16 模式能稳提 1.5–2.5× 吞吐，但前提是你的 GPU 支持 Tensor Core（T4/A10/A100/V100 起），且模型中没有 tf.float64 或不兼容的算子残留。而 int8 更麻烦：它需要校准（calibration），不是训练时加 QAT 就行，而是在推理前用真实样本跑几十到几百 batch，让 TensorRT 统计各 tensor 的激活分布。
容易踩的坑：
立即学习“Python免费学习笔记（深入）”；
创建 Flask + Vue.js 全栈项目，采用单端口架构、uv 依赖管理、结构化日志和生产级前端设计。当用户要求以下操作时触发：创建新的 Flask+Vue 项目、搭建 Web 应用、构建全栈 Python+Vue 应用、初始化 Flask Web 项目、设置单端口 Flask 前后端项目。触发词：新建项目、创建项目、搭建项目、Flask项目、Vue项目。
- 校准数据必须和线上 inference 数据分布一致，拿 ImageNet val 集校准一个工业缺陷检测模型，
int8精度掉点可能超 5% -
trt.calib_mode必须设为True且只在校准阶段启用；部署时忘关，会持续做统计拖慢首帧 - 某些层（如 Softmax 前的 Logits）禁用 int8，需手动在
trt.get_optimized_graph后用trt.set_layer_precision排除
首帧延迟高？必须序列化 engine 文件
第一次运行 TensorRT 加速图时，你会明显卡顿——这不是 bug，是 TensorRT 在做 kernel auto-tuning、layer fusion 和显存 layout 重排。这个过程耗时从 200ms（小模型）到 3s+（ResNet-152）不等，且每次重启进程都重来。
解决方法很直接：
- 调用
trt.write_calibration_cache（int8 场景）或trt.serialize_engine（fp16/fp32）把优化后的 engine 存成二进制文件（如model.engine） - 后续加载直接用
trt.deserialize_engine，首帧延迟回落到原生 TF 的 1.2× 水平 - engine 文件与 CUDA/cuDNN/TensorRT 版本强绑定，
/usr/lib/x86_64-linux-gnu/libnvinfer.so.8.6.1升级后必须重生成，否则load_engine报Invalid Engine
TensorFlow 2.x 用户注意：TF-TRT API 已弃用，改用 tf.nn.quantized_conv2d 等底层算子替代
从 TensorFlow 2.10 开始，tf.contrib.tensorrt 和 trt.create_inference_graph 全面移除。官方推荐路径是：导出 ONNX → 用 trt.OnnxParser 构建 engine。这意味着你不能再依赖 TF 内置 TRT 封装，而要自己处理输入 shape、dynamic axes、op 替换逻辑。
关键差异点：
- ONNX 导出时，
opset=13是底线，低于此版本的GatherND、NonMaxSuppression可能解析失败 -
trt.BuilderConfig.max_workspace_size至少设为1（1GB），否则 ResNet 类模型构建直接报 <code>Engine creation failed: Out of memory - TF2 模型若含
@tf.function(input_signature=...)，导出 ONNX 前务必用 concrete function 绑定 shape，否则 dynamic axis 无法对齐 TensorRT 的 profile
libnvinfer.so.8.6.1 → 8.6.2，也得重 build。 
