PyTorch知识蒸馏中，teacher与student输出对齐需确保：学生logits经F.log_softmax(T缩放)、教师logits经F.softmax(T缩放)，温度T取3–7，KL散度用reduction='batchmean'并乘T²；teacher须.eval()且冻结BN/DP，student保持train()模式且末层不加Softmax。
知识蒸馏中如何设置teacher和student模型的输出对齐？
PyTorch里做知识蒸馏，关键不是堆loss，而是让teacher和student的logits在温度缩放后真正可比。常见错误是直接用nn.KLDivLoss但忘了对student输出做F.log_softmax(..., dim=1)、对teacher输出做F.softmax(..., dim=1)——漏掉任一，KL散度就崩了。
- 温度
T通常设为3~7，太小（如1）退化为普通交叉熵，太大（如20）导致梯度稀疏 -
teacher必须.eval()，且所有BatchNorm和Dropout层要冻结，否则输出不稳定 - 如果
student最后一层是nn.Linear，别加nn.Softmax——蒸馏用logits，不是概率
# 正确对齐示例 T = 4.0 soft_logits_s = F.log_softmax(logits_student / T, dim=1) soft_logits_t = F.softmax(logits_teacher / T, dim=1) kd_loss = F.kl_div(soft_logits_s, soft_logits_t, reduction='batchmean') * (T ** 2)
如何避免student模型在蒸馏初期被teacher带偏？
刚启动训练时，student logits噪声大，直接强拟合teacher softmax容易学偏分布尾部——尤其类别不平衡时，小类预测会更差。
- 用
hard label loss（如nn.CrossEntropyLoss）和kd_loss混合，权重建议从0.3~0.5起步，逐步衰减到0.1 - 别一上来就关掉
student的Dropout——保留一定正则，防止过拟合teacher的“伪确定性” - 如果
teacher在验证集acc是92%，但student蒸馏后只有89%，先检查是否用了teacher的训练集标签（应只用其logits，不用真实label参与kd_loss计算）
distillation loss中temperature和reduction怎么选才不踩坑？
nn.KLDivLoss默认reduction='batchmean'，但乘上T²后数值易爆炸——尤其batch size小或T>5时，loss可能跳变上百倍。
- 必须手动乘
T²：KL散度在温度缩放下等价于原始尺度的(1/T²)倍，所以补回来才能和CE loss量级匹配 - 若用
reduction='sum'，要除以batch_size再乘T²，否则batch size变化时loss不可比 - 实测发现
T=3时kd_loss约在0.5~2.0之间较稳；T=7时若没缩放，loss常>10，optimizer step直接发散
轻量模型蒸馏时为何accuracy不升反降？
不是蒸馏本身失效，往往是部署链路断在了细节：
立即学习“Python免费学习笔记（深入）”；
-
student模型结构太浅（如MobileNetV2倒数第二层通道数砍半），导致logits表达力不足，再怎么蒸也学不到teacher的细粒度判别逻辑 - 训练时用了
teacher的augmentation（如AutoAugment），但studentbackbone不支持该操作，实际输入分布偏移 - 验证时仍用
student原始logits算top-1 acc，而蒸馏目标其实是提升softmax输出的校准度——建议同时看ECE（Expected Calibration Error），有时acc微降但ECE明显改善，说明泛化更稳
真正卡住的地方，往往不是loss公式写错，而是teacher输出没缓存、student batch norm统计没同步、或者T值在train/val时用了不同默认值。这些点不显眼，但改完立刻见效。
