PyTorch知识蒸馏核心是让学生拟合教师软化logits而非硬标签：用F.kl_div(student_log_softmax/T, teacher_softmax/T)，T取3–7，教师需torch.no_grad()和eval()，损失加权硬标签CE，alpha常取0.1–0.3。
PyTorch里怎么让学生模型学教师的logits而不是硬标签
知识蒸馏的核心不是让学生拟合真实标签，而是拟合教师网络输出的软化 logits（soft targets）。关键在用 torch.nn.functional.kl_div 计算 KL 散度，但要注意：输入必须是 log-probabilities，目标必须是 probabilities —— 这个方向反了就会梯度爆炸或 loss 不降。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 教师模型前向时加
torch.no_grad()，避免冗余梯度计算 - 对教师 logits 用
F.log_softmax(logits_t / T, dim=1)，对学生 logits 用F.softmax(logits_s / T, dim=1)，再传给F.kl_div(log_q, p, reduction='batchmean') - 温度参数
T通常设为 3–7；T=1退化为交叉熵，T越大软标签越平滑，但梯度信号越弱 - 别忘了把硬标签损失（如 CE）按比例加回来：
loss = alpha * ce_loss + (1 - alpha) * kl_loss，alpha常取 0.1–0.3
学生模型训练时如何同步加载教师模型并保持其参数冻结
常见错误是直接 student.forward(x); teacher.forward(x)，但没关梯度，导致教师参数意外更新或显存暴涨。正确做法是明确分离教师推理路径。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 教师模型定义后立刻调用
teacher.eval()和teacher.requires_grad_(False) - 不要把教师模型放进
nn.Sequential或和学生共用优化器；它只是“静态参考” - 若教师权重存在本地文件，用
torch.load(..., map_location=device)加载后立即.eval()，否则可能因 BatchNorm 的 training=True 状态导致输出不稳定 - 验证教师是否真被冻结：打印
next(teacher.parameters()).requires_grad，应为False
蒸馏训练中 batch size 和温度 T 怎么协同调参
KL 散度对 batch size 敏感——小 batch 下软标签分布噪声大，KL loss 波动剧烈；大 batch 又容易掩盖学生拟合细节。温度 T 和 batch size 实际上共享一个隐含约束：logits 的方差。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 先固定
T=4，把 batch size 调到 GPU 显存允许的最大值（如 128 或 256），观察 KL loss 是否稳定收敛到 0.1 以下 - 如果 KL loss 持续震荡，优先降低
T（比如试T=3），比减小 batch 更安全；因为小T让软标签更接近 hard label，梯度更可靠 - 若学生准确率上不去但 KL loss 很低，说明过拟合软标签——这时该提高
alpha（硬标签权重），而不是继续压T - 注意：测试时学生必须用
T=1推理，不能沿用蒸馏时的温度
如何验证蒸馏确实起效，而不是学生自己就学好了
最容易忽略的是对照组设计。只看学生最终 acc 没意义——可能学生架构本身足够强，蒸馏反而没贡献。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 必须跑三个实验：① 学生单独训（baseline） ② 学生+蒸馏（distill） ③ 教师单独训（oracle）；三者训练轮数、数据增强、优化器超参完全一致
- 对比指标不只是 top-1 acc，还要看校准误差（ECE）、logits 的 KL 距离（学生 vs 教师）、以及推理速度（FLOPs/latency）——蒸馏的价值常体现在后两者
- 抽一批样本，可视化学生和教师的 top-3 预测类别是否一致；若一致率
- 教师和学生结构差异大时（如 ResNet-50 → MobileNetV3），logits 维度不一致是硬伤，必须加
nn.Linear或nn.AdaptiveAvgPool2d对齐，这点极易漏掉
温度设置、梯度隔离、对照实验设计——这三个地方出错，蒸馏就变成玄学。尤其注意教师 eval() 和 requiresgrad(False) 必须同时生效，少一个都会让结果不可复现。
