FP16量化只需一行flag且无需校准，但须GPU支持FP16 Tensor Core（算力≥6.0）；INT8则必须用真实数据校准，且FP16与INT8不可共存，需分阶段验证。
FP16 量化只需一行 flag，但得先确认 GPU 支持
TensorRT 中开启 FP16 推理非常轻量：只要显卡支持 FP16 Tensor Core（如 Pascal 架构及之后的 GTX 10xx / RTX 20xx / 30xx / 40xx），加 config.set_flag(trt.BuilderFlag.FP16) 就能生效。它不依赖校准数据，也不改模型结构，本质是让权重、激活、中间计算全走半精度路径。
容易踩的坑：
• RTX 40 系列虽支持 FP16，但某些低功耗型号（如 Laptop RTX 4050）在驱动或 CUDA 版本较旧时可能 fallback 到 FP32 —— 建议用 nvidia-smi -q | grep "Compute Capability" 查算力版本（≥6.0 才稳妥）；
• trt.BuilderFlag.FP16 必须在 builder.build_engine(network, config) 前设置，且不能和 INT8 flag 同时启用（会报错）；
• 如果模型含不支持 FP16 的 layer（如某些自定义 plugin），TensorRT 会自动降级该层回 FP32，但不会报错 —— 建议用 config.set_flag(trt.BuilderFlag.STRICT_TYPES) 强制全程 FP16，便于定位问题。
INT8 量化必须校准，校准器选错会导致 mAP 断崖下跌
INT8 不是“开个 flag 就完事”。因为 int8 动态范围太小（-128~127），必须靠真实数据估算每层 activation 的 scale 值，否则推理结果完全不可信。TensorRT 提供两个主流接口：IInt8EntropyCalibrator2（推荐用于 CNN 类视觉模型）和 IInt8MinMaxCalibrator（适合 NLP 序列模型）。
实操关键点：
• 校准数据集要真实：不能用随机噪声或单张图重复填充，至少 500 张覆盖典型场景的图片（如工业质检需含缺陷样本，安防需含夜间/遮挡样本）；
• cache_file 要写入可写路径，且首次运行后会生成缓存文件，后续构建 engine 可直接复用，跳过校准步骤；
• 若校准后精度崩了（比如 YOLOv8 mAP50 ↓5%+），大概率是校准数据分布与线上 inference 数据不一致 —— 检查是否用了训练集均值方差做归一化（MEAN/STD），而校准图没做相同预处理；
• 不要省略 config.set_flag(trt.BuilderFlag.INT8)，否则即使设了 calibrator 也不会触发量化。
立即学习“C++免费学习笔记（深入）”；
FP16 + INT8 不能共存，但可以分阶段验证效果
TensorRT 不允许同时启用 trt.BuilderFlag.FP16 和 trt.BuilderFlag.INT8 —— 编译期直接报 Invalid argument。这不是限制，而是设计使然：FP16 是混合精度，INT8 是全整数量化，二者底层 kernel、内存布局、校准逻辑完全不同。
正确做法是分两轮构建：
• 第一轮仅开 FP16，测 baseline 性能（如 RTX 4060 Ti 上 YOLOv8n 推理从 65 FPS → 110 FPS）；
• 第二轮关 FP16、开 INT8 + calibrator，再对比速度与精度；
• 若 INT8 精度不达标，可尝试 IInt8EntropyCalibrator2 的变体 IInt8EntropyCalibrator（旧版熵校准），有时对小模型更鲁棒；
• 注意：INT8 engine 在不同 GPU 上**不通用**（因校准参数绑定硬件特性），Jetson Orin 生成的 engine 不能直接扔到 RTX 4090 上跑。
显存带宽才是瓶颈，别迷信算力数字
很多开发者盯着 RTX 4090 的 165 TFLOPS FP16 算力猛冲，结果发现 YOLO 推理卡在 60 FPS 上不去 —— 这是因为自回归或卷积推理本质是 memory-bound：每次计算都要把权重从显存读一遍。理论上限 ≈ 显存带宽 ÷ 每 token 权重体积（单位 GB/s ÷ GB/token）。
举例：
• FP16 的 7B 模型权重约 14 GB，RTX 4090 带宽 1008 GB/s → 理论天花板 ≈ 72 tokens/s；
• INT8 同模型仅约 3.5 GB → 同样带宽下理论可达 ~288 tokens/s，但实际受限于校准质量与 kernel 调度，通常做到 180~220 tokens/s；
• 所以压榨显卡算力的关键不是“怎么算更快”，而是“怎么让数据流更窄、更连续”：INT8 降低带宽压力，FP16 减半传输量，二者都是为绕过带宽墙服务的。
真正容易被忽略的是：校准数据的预处理流程必须和线上推理**一字不差** —— 归一化顺序、插值方式（cv2.INTER_LINEAR vs cv2.INTER_AREA）、RGB/BGR 转换，差一点都会让 activation scale 偏离，导致 INT8 推理输出发散。这比选哪个 calibrator 更影响最终效果。
