知识蒸馏在TensorFlow 2.x中必须使用自定义训练循环，因model.compile()和model.fit()无法支持教师-学生双logits联合损失计算；需用tf.GradientTape显式控制教师模型（trainable=False、training=False）与学生模型前向推理，并手动实现带温度缩放的KL散度损失及加权总损失。
知识蒸馏在TensorFlow里必须用自定义训练循环
TensorFlow 2.x 的 model.compile() + model.fit() 无法直接支持知识蒸馏所需的双输出（学生 logits + 教师 logits）联合损失计算。你得绕过高层 API，用 tf.GradientTape 手写训练步——这不是“推荐做法”，而是硬性限制。
原因在于：蒸馏损失（如 KL 散度）依赖教师模型前向推理的 logits，而 fit() 默认只传入一批数据、只跑学生模型；教师模型需同步前向但不参与梯度更新，这必须在 tape 作用域内显式控制。
- 教师模型要设为
trainable=False，且调用时加training=False - 学生模型的 logits 必须保留未 softmax 的原始输出（即最后一层不加
activation='softmax'），否则 KL 计算会因数值下溢失效 - 温度参数
T要同时作用于师生 logits：用logits / T再算 softmax，KL 损失才稳定
KL 散度损失要手动实现并加权，不能直接用 sparse_categorical_crossentropy
标准分类损失（如 sparse_categorical_crossentropy）只监督 hard label，而蒸馏核心是 soft label 匹配。你必须显式计算 KL 散度，并与原始任务损失加权组合——TensorFlow 没有现成的 “distillation loss” 封装函数。
常见错误是直接对 softmax 输出调用 tf.keras.losses.KLDivergence()，这会导致梯度异常或 NaN：该函数默认期望概率分布输入，但 logits 直接 softmax 后在低温度下极易出现 0 值，log(0) → -inf。
立即学习“Python免费学习笔记（深入）”；
- 正确做法：用
tf.nn.softmax_cross_entropy_with_logits计算软目标 KL，它内部做了数值保护 - 公式等价于：
tf.nn.softmax_cross_entropy_with_logits(labels=tf.nn.softmax(teacher_logits/T), logits=student_logits/T) - 总损失 =
alpha * hard_loss + (1-alpha) * T^2 * kl_loss，注意 T² 缩放项——这是论文《Distilling the Knowledge in a Neural Network》明确要求的，否则 KL 项梯度太小
教师模型输出需缓存或实时推理？取决于内存和一致性需求
蒸馏训练中教师 logits 是固定不变的（教师权重冻结），所以有两种策略：一次性预计算所有样本的 teacher logits 并存为 .npy 文件，或每次训练 step 实时调用教师模型。选哪种，看你的数据规模和 GPU 显存。
- 小数据集（
- 大数据集或教师模型很大（如 ViT-L）→ 预存 logits 可大幅提速，但必须确保预处理 pipeline 完全一致，且保存时用
np.float32（别用float16，KL 对精度敏感） - 若用预存 logits，学生模型输入数据和 teacher logits 的顺序、分 batch 方式必须严格对齐，错一位就全盘失效
验证阶段容易漏掉温度切换，导致准确率虚高
蒸馏训练时学生模型在 inference 阶段必须关闭温度缩放（即 logits 不再除以 T），否则预测分布过度平滑，argmax 准确率会明显下降。这个切换点常被忽略，尤其当模型封装成 tf.keras.Model 子类时。
- 不要在模型
call()里写死/ T；应通过额外参数控制，如call(x, training=True, distill_temp=4.0) - 验证/测试时显式传
distill_temp=1.0或干脆不传（默认值设为 1.0） - 最保险的做法：蒸馏训练用独立的
train_step()，而验证用另一个不带温度缩放的val_step()，彻底隔离逻辑
温度参数不是超参调优的装饰项，它直接决定软标签的信息量和梯度强度；设太高（如 T=20）会让所有 logits 趋近相等，KL 失去指导意义；设太低（如 T=1.1）又接近 hard label，蒸馏失效。通常从 T=3~5 开始试，配合验证集 accuracy 和 KL loss 曲线一起看。
