TensorFlow模型剪枝需用prune_low_magnitude包装层并配PolynomialDecay调度，训练后strip_pruning；QAT必须quantize_model插入伪量化节点，且须先剪枝再QAT；最终导出TFLite需从SavedModel转换并设INT8参数，否则无实际压缩效果。
TensorFlow模型剪枝：用 tfmot.sparsity.keras.prune_low_magnitude 包裹层即可
剪枝不是删掉整个层，而是让权重矩阵中部分数值变为零。TensorFlow Model Optimization Toolkit（tfmot）提供的是“训练时稀疏化”方案——模型结构不变，但训练过程中逐步将不重要的权重置零，并在推理前去除冗余连接。
关键点在于：必须用 prune_low_magnitude 包装原有层，不能直接修改 model.layers[i].kernel；否则剪枝调度、掩码更新、最终压缩导出都会失败。
- 训练前需定义剪枝调度策略，例如
tfmot.sparsity.keras.PolynomialDecay，起始稀疏率为 0，终点设为 0.5（即目标 50% 稀疏度） - 包装后模型仍可正常
compile和fit，但model.summary()中会显示 “PruningWrapper” 层名 - 训练结束后必须调用
tfmot.sparsity.keras.strip_pruning(model)才能导出真正稀疏的模型；否则保存的仍是带掩码逻辑的臃肿版本 - 注意：Keras Functional API 模型比 Sequential 更容易出错，务必对每个要剪枝的层单独包装，不要试图包装整个
Model实例
量化感知训练（QAT）：必须在训练阶段插入 tfmot.quantization.keras.quantize_model
真正的量化压缩（INT8 推理）依赖量化感知训练，而不是训练完再“硬量化”。quantize_model 会在每层输入/权重后自动插入伪量化节点（QuantizeLayer），模拟低比特计算带来的舍入误差，让网络在训练中适应这种噪声。
常见错误是跳过 QAT 直接用 tf.lite.TFLiteConverter.from_keras_model + converter.optimizations = [tf.lite.Optimize.DEFAULT]，这只会做 post-training quantization（PTQ），对未校准的模型极易崩溃或精度暴跌。
立即学习“Python免费学习笔记（深入）”；
仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...
- QAT 前必须先完成剪枝并
strip_pruning，否则quantize_model会报错：“Cannot instrument pruning wrapper” - QAT 训练轮数不宜过少，建议至少用原训练 epoch 的 20%（如原 100 轮，QAT 补 20 轮），学习率应降为原来的 1/10
- 量化后模型仍为 Keras 格式，可用
model.save()保存，但部署必须转成 TFLite；直接predict会走浮点路径，不体现量化效果
TFLite 转换与部署：用 tf.lite.TFLiteConverter.from_saved_model 导出最终模型
剪枝+QAT 后的 Keras 模型只是中间态，真正轻量且可部署的是 TFLite FlatBuffer。必须从 SavedModel 格式转换，不能从 HDF5（.h5）文件转，否则量化信息丢失，输出仍是 float32。
转换时若漏掉校准数据集，converter.representative_dataset 未设置，会导致 INT8 量化失败或 fallback 到 float16。
- 代表数据集必须是生成器，返回 shape 符合输入层的
tf.Tensor，例如lambda: ([np.random.rand(1,224,224,3).astype(np.float32)],) - 启用整型量化需同时设置：
converter.optimizations = [tf.lite.Optimize.DEFAULT]+converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]+converter.inference_input_type = tf.int8+converter.inference_output_type = tf.int8 - 剪枝后的稀疏权重在 TFLite 中不会自动变小——只有量化才减少体积；TFLite 本身不压缩稀疏结构，它只把已为零的权重当作普通 float 存储，所以务必先 strip 再 quantize 再 convert
验证压缩效果：别只看 os.path.getsize，要测 tflite.Interpreter 的实际内存占用
文件大小下降 ≠ 运行时内存下降。一个剪枝+量化的 TFLite 模型可能比原始模型小 4×，但若没正确设置 inference_input_type，interpreter 仍会内部反量化成 float32 加载，RAM 占用毫无改善。
最可靠的方式是用 Python 加载并检查张量细节：
import tensorflow as tf interpreter = tf.lite.Interpreter(model_path="model.tflite") interpreter.allocate_tensors() input_details = interpreter.get_input_details()[0] print(input_details["dtype"]) # 应为 <class 'numpy.int8'> print(interpreter.get_tensor_size(input_details["index"])) # 对应 int8 字节数
另外注意：移动端 CPU 上，INT8 推理速度未必比 float32 快，尤其在无硬件加速的旧设备上；而剪枝对推理延迟的影响取决于稀疏模式——TF Lite 当前仅支持结构化稀疏（如通道剪枝），非结构化稀疏（单个权重为零）基本不加速。
