量化前必须确认模型支持全整型推理，需先验证浮点TFLite模型通路；启用full integer量化须提供真实校准数据集并显式设置输入输出为int8，同时确保推理代码手动处理quantize/dequantize。
量化前必须确认模型是否支持全整型推理
TensorFlow Lite 的量化不是万能开关，tf.lite.TFLiteConverter 对不同模型结构有硬性约束。比如含动态 shape（如 tf.shape、tf.dynamic_partition）或未冻结的控制流（tf.while_loop 未 fully unrolled），直接启用 INT8 量化会报 RuntimeError: Quantization not supported for op XXX。务必先用浮点 TFLite 模型验证推理通路，再进量化流程。
实操建议：
- 导出 SavedModel 前，用
tf.keras.models.clone_model+model.set_weights确保所有层权重可追踪，避免tf.function内部变量导致图断开 - 量化前运行一次
converter.experimental_enable_resource_variables = True，尤其对含tf.lookup.StaticHashTable的模型 - 若模型含自定义 OP（如 NMS 后处理），需提前注册并确保其有量化 kernel，否则 fallback 到 float fallback path，失去压缩效果
选择正确的量化模式：dynamic range vs. full integer
converter.optimizations = [tf.lite.Optimize.DEFAULT] 默认只做 dynamic range 量化（权重 int8 + 激活 float32），模型体积减小但无法在仅支持整型的微控制器（如 Cortex-M4）上跑。要真正落地到边缘设备，必须启用 full integer 量化——这要求提供代表输入分布的校准数据集。
关键点：
立即学习“Python免费学习笔记（深入）”；
- 校准数据不能是随机噪声，至少 100–500 张真实输入（如 ImageNet 子集、实际摄像头帧），且预处理逻辑必须和训练/推理时完全一致（包括归一化系数、resize 方式）
- 设置
converter.representative_dataset = representative_data_gen时，函数必须返回list或np.ndarray，不能返回tf.data.Dataset对象（会触发ValueError: unsupported type） - 若输入有多张图（batch > 1），校准数据生成器每次 yield 必须是单 batch，shape 与模型 input signature 严格匹配，否则报
Tensor's shape (X) is not compatible with expected shape (Y)
INT8 量化后精度掉太多？检查输入/输出 quantization 参数
很多用户发现量化后 mAP 或 top-1 acc 断崖下跌，问题常出在默认量化配置没覆盖端到端链路。TFLite Converter 默认只量化中间 tensor，而输入输出仍为 float32 —— 这在 Android/iOS 上没问题，但在 MCU 上会导致前后端数据类型不匹配，触发隐式 dequantize/quantize，引入误差累积。
修复方法：
- 显式声明输入输出量化：设置
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]并指定converter.inference_input_type = tf.int8和converter.inference_output_type = tf.int8 - 注意：此时你必须同步修改推理代码——输入前手动
(x / scale) + zero_point，输出后手动(y - zero_point) * scale，scale/zero_point 可从.tflite文件中用interpreter.get_input_details()[0]['quantization']提取 - 某些算子（如
Softmax、Logistic）在 INT8 下无标准量化实现，会被自动替换为 float fallback，可通过interpreter.get_tensor_details()检查是否有'quantization' : (0.0, 0)的条目来定位
量化模型部署时 runtime 报错：check failed: data != nullptr
这个错误几乎都源于内存生命周期管理不当。TFLite 的 Interpreter 在调用 AllocateTensors() 时，会把量化参数（scale/zero_point）和权重 buffer 映射到内部 arena。如果校准数据生成器返回的是临时 numpy array（比如用 np.random.rand() 在函数内创建），其内存可能在 converter 调用结束后被释放，导致最终 .tflite 文件里存的是悬空指针。
安全做法：
- 校准数据全部加载进内存，用
np.array(..., dtype=np.float32, order='C')显式固化 layout，避免 strided array 或 memoryview - 不要在
representative_data_gen中调用tf.image等返回 EagerTensor 的函数；统一用cv2或PIL读图 +np.array转换 - 生成 .tflite 后，用
xxd -l 64 model.tflite | head查看文件头是否为TFL3（正确签名），排除因写入失败导致的空文件误判
量化压缩不是“设个 flag 就完事”的过程，最易忽略的是校准数据与真实部署场景的输入分布偏差，以及 INT8 推理链路中手动 quantize/dequantize 的尺度一致性。哪怕只差一个 scale 值没对齐，结果就可能全错。
