Focal Loss不能直接用PyTorch内置损失替代，因其需动态降低易分类样本权重（(1−pₜ)ᵞ），而nn.CrossEntropyLoss和nn.BCEWithLogitsLoss均为静态均匀加权，无法实现难例聚焦。
Focal Loss 在 PyTorch 中不能直接调用现成函数，必须手动实现；否则默认的 nn.CrossEntropyLoss 会忽略难例挖掘能力，根本起不到缓解类别/难易样本失衡的作用。
为什么不能直接用 nn.BCEWithLogitsLoss 或 nn.CrossEntropyLoss 替代 Focal Loss
这两个内置损失函数本质是均匀加权的：每个样本对梯度的贡献基本一致。而 Focal Loss 的核心是动态降低易分类样本的权重（通过 (1 - p_t)^γ），让模型聚焦于难例。直接套用会导致训练时仍被大量简单负样本主导，尤其在目标检测、医学图像分割等正负极度不均衡场景下完全失效。
-
nn.CrossEntropyLoss没有可调节的聚焦系数γ和平衡参数α -
nn.BCEWithLogitsLoss虽支持weight，但仍是静态权重，无法随预测置信度p_t动态衰减 - PyTorch 官方至今未将 Focal Loss 纳入
torch.nn模块
如何正确实现多分类 Focal Loss（含 α-balance 和 γ 聚焦）
关键在于：先算出每个样本的 softmax 概率（或 sigmoid logits），再按类别索引取出对应类别的预测置信度 p_t，最后套用公式 -(α * (1 - p_t)^γ * log(p_t))。注意避免 log(0) 和梯度不稳定问题。
import torch
import torch.nn as nn
import torch.nn.functional as F
<p>class FocalLoss(nn.Module):
def <strong>init</strong>(self, alpha=1, gamma=2, reduction='mean'):
super().<strong>init</strong>()
self.alpha = alpha
self.gamma = gamma
self.reduction = reduction</p><pre class='brush:python;toolbar:false;'>def forward(self, inputs, targets):
# inputs: [N, C], targets: [N]
log_pt = F.log_softmax(inputs, dim=1)
pt = torch.exp(log_pt)
# 取出每个样本对应真实类别的概率
log_pt = log_pt.gather(1, targets.unsqueeze(1)).squeeze(1)
pt = pt.gather(1, targets.unsqueeze(1)).squeeze(1)
# Focal weight
focal_weight = (1 - pt) ** self.gamma
# 加权交叉熵
loss = -self.alpha * focal_weight * log_pt
if self.reduction == 'mean':
return loss.mean()
elif self.reduction == 'sum':
return loss.sum()
else:
return loss- 输入
inputs必须是 raw logits（未经过 softmax），否则梯度会异常 -
targets必须是long类型的一维张量，不能是 one-hot -
alpha建议设为类别频率的倒数（如二分类中正样本占比 5%，则alpha=20），或用torch.bincount动态计算 -
gamma=2是原论文推荐值，gamma=0退化为标准交叉熵
二分类场景下用 sigmoid + BCEWithLogitsLoss 变体更稳定
多分类 Focal Loss 对 softmax 梯度较敏感，尤其在类别数多、样本少时易震荡。二分类任务建议改用基于 sigmoid 的实现，它数值更稳定，也方便和 nn.BCEWithLogitsLoss 复用底层优化。
立即学习“Python免费学习笔记（深入）”；
class BinaryFocalLoss(nn.Module):
def __init__(self, alpha=1, gamma=2, reduction='mean'):
super().__init__()
self.alpha = alpha
self.gamma = gamma
self.reduction = reduction
<pre class='brush:python;toolbar:false;'>def forward(self, inputs, targets):
# inputs: [N], targets: [N], both float
bce_loss = F.binary_cross_entropy_with_logits(
inputs, targets, reduction='none'
)
pt = torch.sigmoid(inputs)
pt = torch.where(targets == 1, pt, 1 - pt)
focal_weight = (1 - pt) ** self.gamma
loss = self.alpha * focal_weight * bce_loss
if self.reduction == 'mean':
return loss.mean()
elif self.reduction == 'sum':
return loss.sum()
else:
return loss- 输入
inputs是 shape[N]的 logits，targets是[N]的 0/1 张量 -
torch.where分别处理正负样本：正样本用pt，负样本用1-pt，统一成p_t - 该版本比多分类版更容易 debug，loss 值域也更平滑
最容易被忽略的是：Focal Loss 的效果高度依赖 γ 和 α 的配合——单独调大 γ 可能让模型拒绝学习所有样本，而 α 设错会彻底逆转难易样本权重。建议先在验证集上扫一遍 γ ∈ [1, 3] 和 α 按类别频率设置，再微调。
