软标签需用categorical_crossentropy且标签须为(batch_size, num_classes)的float32概率分布；模型最后一层不加softmax时设from_logits=True，否则设False；蒸馏推荐用KLDivergence实现logits-to-logits对齐。
软标签在 tf.keras 里怎么喂给模型
TensorFlow 默认的 sparse_categorical_crossentropy 只接受整数标签，软标签（比如 [0.1, 0.7, 0.2]）必须用 categorical_crossentropy，且要求标签和模型输出维度对齐、都归一化为概率分布。
常见错误是把软标签当硬标签传入，报错类似：InvalidArgumentError: logits and labels must have the same shape 或训练时 loss 不下降。
- 确保 label 是 shape
(batch_size, num_classes)的 float32 张量，每行和为 1（不强制，但非归一化会扭曲梯度） - 模型最后一层不能加
softmax（除非你手动控制数值稳定性），因为categorical_crossentropy内部默认用from_logits=False；若加了 softmax，就设from_logits=False（默认值） - 如果模型输出 raw logits，想自己控制数值稳定，可设
from_logits=True，此时 label 仍要是概率形式，但 loss 计算会先做softmax—— 这种组合极少用，容易混淆
tf.keras.losses.CategoricalCrossentropy 的关键参数怎么选
这个类比函数式接口更灵活，尤其适合软标签场景。重点看三个参数：
-
from_logits=False：默认值，要求模型输出已过 softmax（即概率），label 也必须是概率。最常用，也最安全 -
label_smoothing=0.1：虽不是软标签，但效果类似——把真实类概率从 1 拉低，其他类均分剩余部分。适合缓解过拟合，但不能替代真软标签（如蒸馏或标注不确定性） -
reduction=tf.keras.losses.Reduction.NONE：返回每个样本 loss，方便后续加权（例如按软标签置信度缩放）
示例：
loss_fn = tf.keras.losses.CategoricalCrossentropy(from_logits=False)搭配输出为
softmax 层的模型即可。
立即学习“Python免费学习笔记（深入）”；
仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...
用软标签做知识蒸馏时，logits 对齐要注意什么
蒸馏中教师模型输出 logits，学生模型通常也输出 logits，但软标签需用教师的 softmax 输出（温度缩放后）作为目标。直接拿教师 logits 当 label 会出错。
- 教师侧必须显式做
tf.nn.softmax(teacher_logits / temperature)得到软标签，再转成 float32 - 学生模型若输出 logits，损失函数要设
from_logits=True，但 label 必须仍是概率（即教师 softmax 后结果）——TensorFlow 会再对学生 logits 做一次 softmax，导致双重 softmax，结果失真 - 正确做法：学生模型输出 logits，loss 设
from_logits=True，同时教师软标签也用 logits 形式（即不做 softmax，只做温度缩放），这样双方都在 logits 空间计算 KL 散度
更稳妥的做法是直接用 tf.keras.losses.KLDivergence，它天然适配 logits-to-logits 蒸馏：
loss_fn = tf.keras.losses.KLDivergence()此时 teacher 和 student 都传 logits，内部自动做 log-softmax 对齐。
PyTorch 用户转 TensorFlow 容易踩的坑
PyTorch 的 nn.KLDivLoss 默认要求 input 是 log-probabilities（log_softmax 输出），target 是 probabilities；而 TensorFlow 的 KLDivergence 是 input 和 target 都为 probabilities，行为不同。
- 别直接照搬 PyTorch 写法：把学生
log_softmax输出喂给KLDivergence，会导致数值下溢或 NaN - TensorFlow 中若要用 log-space，得手写 loss：
-tf.reduce_sum(teacher_probs * tf.math.log(student_probs + 1e-8), axis=-1) - batch 维度丢失是高频问题：用
tf.one_hot生成软标签时忘了dtype=tf.float32，默认 int32 会触发隐式类型转换失败
软标签真正起作用的地方，往往不在 loss 公式本身，而在标签构造过程是否保留了原始置信粒度——比如蒸馏中温度参数没调、或标注噪声没建模，后面再换什么 loss 都补不回来。
