教师模型和学生模型输出对齐需：教师logits经F.softmax(T缩放)、学生logits经F.log_softmax(T缩放)，温度T取3–7，KL散度用reduction='batchmean'并乘T²；teacher须.eval()且冻结BN/DP，student保持train()模式且末层不加Softmax。
知识蒸馏中教师模型和学生模型的输出怎么对齐？
教师模型输出的 logits 通常温度缩放后做 soft target，学生模型用相同温度计算 KL 散度。不直接用 argmax 或硬标签，否则丢失概率分布里的隐含知识。torch.nn.KLDivLoss 要求输入是 log-probabilities，所以学生侧用 log_softmax，教师侧用 softmax 后再加 log ——或者更稳妥地，都走 F.log_softmax 和 F.softmax 配合温度参数。
- 温度
T一般设为 3–7；太小接近硬标签，太大梯度变弱 - 教师 logits 必须 detach()，避免反向传播进教师网络
- 学生 loss = α ×
KLDivLoss(student_log_soft, teacher_soft) + (1−α) ×CrossEntropyLoss(student_logits, labels)
teacher_soft = F.softmax(teacher_logits / T, dim=1) student_log_soft = F.log_softmax(student_logits / T, dim=1) kld_loss = F.kl_div(student_log_soft, teacher_soft, reduction='batchmean') * (T ** 2)
PyTorch 里怎么让教师模型不更新参数又保持 eval 模式？
torch.no_grad() 只禁梯度，但 BatchNorm 层在 train() 下仍会更新 running_mean/var，导致推理行为漂移。必须显式调用 teacher.eval()，且在整个蒸馏训练循环里不能意外切回 train()。
- 在训练前加
teacher.eval()，并在每次 forward 前确认（尤其多卡或封装成函数时） - 不要用
with torch.no_grad():包裹整个 batch——它不影响 BN 状态，只停梯度 - 若教师模型含 dropout，eval() 会自动关闭，否则 dropout 在推理时仍随机置零
常见错误：把 teacher.train(False) 写成 teacher.train(False) 后没调用 .eval()，结果 BN 统计量错乱，soft target 波动大。
学生模型太小，KL loss 压不住 cross-entropy，怎么办？
小模型拟合能力弱，直接加权容易被真实标签 loss 主导，soft target 的知识无法注入。需要动态调节 α 或引入中间层特征匹配。
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
立即学习“Python免费学习笔记（深入）”；
- 初始阶段（前 10–20% epoch）设 α=0.9，让 KL 主导；后期逐步降到 0.3–0.5
- 加入 hint learning：用教师某中间层输出（如最后一层 before classifier）监督学生对应层，用
MSELoss或ATLoss（attention transfer） - 若学生 backbone 完全不同（如 ResNet → MobileNetV3），不要强行对齐所有层，选语义相近的 stage 输出做匹配
注意：kl_div 默认 reduction='batchmean'，但若 batch size 变化（如最后 batch 不满），loss 值会偏移，建议统一用 reduction='sum' 再除以 batch size。
蒸馏后模型推理速度没提升，可能卡在哪？
知识蒸馏本身不改变模型结构，加速依赖学生模型设计。常见陷阱是只换小网络但没改输入分辨率、没删冗余 head、或 ONNX 导出时未启用优化。
- 学生模型必须真轻量：参数量 ≤ 教师 30%，FLOPs ≤ 25%，否则“蒸”了也白蒸
- 推理前务必调用
torch.jit.trace或torch.compile(model, mode="reduce-overhead")（PyTorch 2.0+） - ONNX 导出时加
do_constant_folding=True和dynamic_axes，否则 batch=1 时某些 op 无法折叠 - CPU 推理要关掉 cudnn：
torch.backends.cudnn.enabled = False，避免小模型反而触发低效路径
最容易被忽略的是数据预处理——学生模型若支持更低分辨率（如 128×128），但推理 pipeline 还按 224 做 resize，实际耗时根本没降。
