量化前必须确认模型是否支持INT8推理，因含动态shape、自定义op或未冻结BatchNorm等会导致报错或退化为浮点；需启用experimental_enable_resource_variables、用SavedModel格式、提供匹配shape和float32类型的representative_dataset，并根据设备要求设置int8或uint8输入输出类型。
量化前必须确认模型是否支持INT8推理
TensorFlow Lite的量化不是万能开关，模型里如果有不支持INT8的算子（比如某些自定义op、动态shape操作、部分RNN变体），tflite_convert会直接报错或静默退化为浮点模型。最稳妥的方式是先用tf.lite.TFLiteConverter.from_saved_model()加载模型，再调用converter.inference_input_type = tf.int8和converter.inference_output_type = tf.int8前，先检查converter.experimental_enable_resource_variables = True是否启用（尤其对带变量的模型），并确保训练时已用tf.quantization.quantize_model做过后训练量化准备。
常见错误现象：RuntimeError: Quantization not yet supported for op 'CONV_2D'——这通常是因为输入/输出张量未指定类型，或模型中存在未冻结的BatchNorm。
- 务必用
tf.keras.models.load_model()加载后保存为SavedModel格式，不要直接传.h5 - 若模型含
tf.function装饰的推理函数，需用converter.experimental_enable_converter_v2 = True - 量化前建议先跑通非量化TFLite转换，排除结构兼容性问题
选择全整型量化还是浮点权重+int8激活
全整型量化（converter.optimizations = [tf.lite.Optimize.DEFAULT] + converter.representative_dataset）压缩率高（通常减小4×）、推理快，但需要代表性数据集校准；而仅权重量化（converter.optimizations = [tf.lite.Optimize.OPTIMIZE_FOR_SIZE]）不依赖校准数据，但压缩有限（约2×），且推理仍走浮点路径。
使用场景：移动端部署优先选全整型；快速验证或数据难获取时，先用权重量化保功能，再逐步补校准数据。
立即学习“Python免费学习笔记（深入）”；
调用 Cutout.Pro 视觉处理 API 进行背景移除、人像抠图和照片增强，支持文件上传与图片 URL 输入。
- 全整型必须提供
representative_dataset生成器，每批至少100个样本，输入shape要与模型一致 - 校准数据不能是随机噪声，得接近真实分布（如ImageNet子集、实际采集图像）
- 若校准后精度掉太多，可尝试加
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]并显式排除FP16 ops
代表数据集构造容易漏掉batch维度和dtype
representative_dataset不是随便yield几个numpy array就行。TFLite Converter在内部会做类型推断，如果np.array dtype是float64或shape缺batch维（如(224,224,3)而非(1,224,224,3)），会导致校准失败或量化参数异常。
正确写法示例：
def representative_dataset():
for _ in range(100):
# 注意：batch维度必须存在，dtype必须是float32
data = np.random.rand(1, 224, 224, 3).astype(np.float32)
yield [data]- yield必须是list包裹的tensor，哪怕只有一个输入
- 如果模型多输入，yield里list长度要匹配
converter.input_shapes - 数据范围无需归一化到[0,1]或[-1,1]——和训练时预处理一致即可
量化后模型在设备上运行报错“Failed to apply delegate”
这不是量化本身失败，而是目标设备（如Android手机、Edge TPU）不支持该量化配置。例如，Edge TPU只接受uint8输入输出，而默认TFLite量化输出是int8；又或者ARM CPU上启用了nnapi delegate但模型含不支持的op。
- 对Edge TPU，必须设
converter.inference_input_type = tf.uint8和converter.inference_output_type = tf.uint8 - 用
adb logcat | grep -i tflite查具体delegate加载失败原因 - 若用
tf.lite.Interpreter本地测试，别忘了加experimental_delegates参数，否则看不到delegate是否生效
真正麻烦的是混合量化——比如部分层保持FP16、部分INT8，TFLite目前不支持手动指定，只能靠converter.experimental_enable_tensorrt_converter这类扩展，但稳定性和跨平台性差。多数情况下，老老实实用全INT8或权重量化，比折腾混合方案更省时间。
