多任务训练需动态加权loss防梯度失衡：推荐可学习权重（如torch.exp参数）或batch级归一化；共享层宜浅层起步，用消融实验检测负迁移；forward必须返回标量loss；验证须分任务评估指标。
PyTorch多任务模型里，loss怎么加权才不崩梯度
直接相加 loss1 + loss2 很容易让某个任务主导训练，尤其当两个任务量纲差几个数量级（比如回归loss是千级，分类cross_entropy是零点几），梯度更新会严重偏向大loss任务。
实操建议：
- 用可学习权重：定义
self.task1_weight = nn.Parameter(torch.tensor(1.0))，loss写成loss1 * torch.exp(self.task1_weight) + loss2 * torch.exp(self.task2_weight)，配合L2正则约束权重爆炸 - 更稳的做法是任务归一化：每个batch单独算
loss1 / loss1.detach().mean().clamp(min=1e-6)，再加权，避免跨batch尺度污染 - 别用固定系数如
0.5 * loss1 + 0.5 * loss2—— 一旦某个任务收敛变快，它的loss迅速萎缩，权重就失效了
共享层和任务头怎么拆，才能避免负迁移
共享底层+独立head是主流结构，但共享层太深容易让任务互相干扰，尤其当任务目标冲突（比如一个要边缘锐利，一个要平滑滤波）。
实操建议：
- 先从浅层共享开始：只共享前2个卷积块，后面全分叉；观察验证集上各任务指标是否同步提升，再逐步加深共享层
- 用
nn.Identity()临时替换某层做消融：比如把共享的BatchNorm换成独立BN，看某个任务acc是否跳升——这是负迁移信号 - 避免在共享层里加任务相关模块（如task-specific dropout rate），这类设计常导致某个任务“偷偷”压低另一任务的激活
MultiTaskLossWrapper类封装时，forward里为什么不能直接return dict
PyTorch的nn.Module默认只认单个tensor输出，如果forward返回{'cls_loss': ..., 'reg_loss': ...}，后续loss.backward()会报TypeError: backward() received an invalid gradient。
实操建议：
- 必须在
forward末尾显式合成标量loss：比如total_loss = sum(loss_dict.values())，再return total_loss, loss_dict - 如果想保留各任务loss用于日志，用
loss_dict作为返回第二项，但训练循环里得写loss, losses = model(...); loss.backward()，别漏掉第一项 - 别在
__init__里缓存loss_dict作属性——多卡DDP下各进程状态不同步，会导致log混乱
验证阶段如何正确评估多任务模型
训练时loss合并了，但验证时必须分开算指标，否则你看不出哪个任务拖后腿。常见错误是沿用训练loss逻辑，把所有任务loss加起来当验证指标，结果模型在任务A过拟合、任务B崩溃，总loss却看起来还行。
实操建议：
- 验证
forward走纯推理路径：关掉requires_grad，且model.eval()后显式调用各任务head，分别跑accuracy、mae等指标 - 每个任务单独记录best checkpoint：比如保存
best_cls_acc.pth和best_reg_mae.pth，别只留一个best_model.pth - 注意数据加载器：多任务验证集必须保证每个batch含全任务标签，否则
loss.backward()没问题，但accuracy(logits, labels)会因labels缺失而报IndexError
多任务真正的麻烦不在结构设计，而在训练动态中任务间的隐性博弈——某个任务loss突然抖动，可能不是它自己出问题，而是共享层被另一个任务拉偏了参数方向。盯住各任务每轮的梯度norm比盯总loss有用得多。
