PyTorch中多任务联合损失通过加权求和实现：total_loss = w1loss1 + w2loss2，权重需按任务损失均值倒数初始化或用Uncertainty Weighting等自适应方法，且必须构造单一标量total_loss后调用一次backward()。
PyTorch中怎么把多个损失函数加权求和？
多任务学习的联合损失优化，核心就是把各任务的损失组合成一个标量，再反向传播。最常用、最直接的方式是加权求和：total_loss = w1 * loss_task1 + w2 * loss_task2 + ...。权重 w1、w2 不是超参调出来就完事的——它们直接影响梯度幅值，进而影响各任务参数更新步长。比如 loss_task1 是 MSE（量级常在 0.1～1），loss_task2 是 CrossEntropyLoss（未归一化时可能达几十），不加权直接相加会导致后者主导梯度，前者几乎不更新。
实操建议：
- 先对每个任务单独跑一轮，记录其损失均值（如
loss_cls.mean().item()、loss_reg.mean().item()），用倒数粗略初始化权重：w1 = 1.0 / cls_loss_avg，w2 = 1.0 / reg_loss_avg - 避免固定权重；可考虑 GradNorm 或 Uncertainty Weighting 等自适应方法（需额外引入可学习标量
log_var） - 务必在
loss.backward()前确认total_loss是标量（total_loss.ndim == 0），否则会报RuntimeError: grad can be implicitly created only for scalar outputs
为什么 multi-task 的 backward() 会覆盖彼此的梯度？
PyTorch 默认每次 loss.backward() 会累加（accumulate）梯度到 .grad 属性上，但如果你先后调用 loss1.backward() 和 loss2.backward()，且没清空梯度或控制累积逻辑，就会出现梯度叠加错乱——尤其当两个任务共享部分 backbone 参数时，同一参数收到两组不同方向的梯度，结果不可控。
正确做法只调用一次 backward()，基于联合损失：
立即学习“Python免费学习笔记（深入）”；
- 绝不要写
loss1.backward(); loss2.backward() - 必须构造单一
total_loss后再调用total_loss.backward() - 如果真要分步（如梯度裁剪按任务分别做），得手动保留中间梯度：
loss1.backward(retain_graph=True)，再loss2.backward()，但极易出错，不推荐
如何让分类和回归任务共享 backbone 但 head 分离？
典型结构是：一个 CNN 或 Transformer 作为 backbone，后面接两个独立 head（如 cls_head 和 reg_head）。关键点在于 forward 时只前向一次 backbone，再把特征分别送入两个 head，这样既能共享表征，又避免重复计算。
示例片段（简化）：
x = self.backbone(input) # 共享前向 logits = self.cls_head(x) preds = self.reg_head(x) # 注意：reg_head 输出应为连续值，非 softmax loss_cls = F.cross_entropy(logits, labels) loss_reg = F.mse_loss(preds, targets) total_loss = 0.7 * loss_cls + 0.3 * loss_reg total_loss.backward() # ← 只这里调一次
容易踩的坑：
-
reg_head最后一层别加nn.Sigmoid()或nn.ReLU()，除非你明确限制输出范围；多数回归任务直接线性映射更稳定 - 若两个 head 输出维度差异大（如分类 1000 类 vs 回归 4 维框），检查 loss 计算是否 broadcast 正确，特别是
targetsshape 是否匹配preds - 验证时别只看
total_loss下降——要单独打印loss_cls.item()和loss_reg.item()，防止某任务悄然退化
Uncertainty Weighting 怎么在 PyTorch 里实现？
这是 Kingma 2018 提出的可学习权重方法：为每个任务引入一个标量 log_var_i，损失改写为 loss_i / (2 * exp(log_var_i)) + log_var_i / 2。它本质是假设任务服从高斯分布，用 log_var_i 学习该任务的不确定性（噪声大小），不确定性越大，分配权重越小。
实操要点：
- 把
log_var_cls和log_var_reg定义为模型的nn.Parameter，参与优化 - loss 表达式必须严格按论文形式写，不能漏掉
/ 2或符号错误，否则梯度会崩 - 初始
log_var设为 0（即exp(0)=1，等价于权重为 1），避免开局梯度爆炸 - 训练中观察
log_var值变化——若某个长期大于 2（即方差 > 7.4），说明该任务确实难学或噪声大，权重自然被压低
多任务不是堆 loss 就完事；权重设计、梯度路径、head 结构这三处，任意一个没对齐，模型就容易偏科甚至崩溃。尤其是共享 backbone 时，loss 权重的小偏差会被放大成特征学习的系统性偏差。
