PyTorch中敏感度分析本质是计算∂y/∂x，需用torch.autograd.grad配合requires_grad=True、标量目标、softmax概率归一化及按通道标准化梯度可视化。
PyTorch中用torch.autograd.grad计算输入梯度最直接
敏感度分析本质是量化模型输出对输入的局部变化响应，即求∂y/∂x。PyTorch不提供开箱即用的“敏感度API”，但torch.autograd.grad能精准控制求导路径和目标，比loss.backward()更灵活——尤其当你不想修改模型结构、也不需要反传到参数时。
常见错误是直接对model(input)调用.backward()，结果报错RuntimeError: element 0 of tensors does not require grad，因为默认input没设requires_grad=True；或者误把分类logits当标量，忘记先取特定类得分再求导。
-
input必须显式设置requires_grad=True（哪怕只是临时） - 若输出是batch级logits（如
[B, C]），需先选一个标量目标（如output[0, predicted_class]），再对它求导 - 避免在
torch.no_grad()上下文中计算，否则梯度为None - 返回值是tuple，即使只对一个tensor求导，也要用
[0]取出来
input = input.clone().detach().requires_grad_(True) output = model(input) target = output[0, output.argmax()] # 对第0个样本的预测类求导 grad = torch.autograd.grad(target, input, retain_graph=False)[0]
用torch.nn.functional.softmax后对概率求导更符合“敏感度”直觉
原始logits梯度受尺度影响大，同一张图在不同模型上数值不可比；而softmax概率∈[0,1]，其梯度更能反映“输入微扰导致某类概率上升/下降的强度”。但要注意：softmax本身引入非线性，梯度不再等价于logits梯度，且需指定dim=1防止维度错乱。
典型坑是忘了softmax后output仍是[B, C]，仍需索引具体样本和类别；另一个是用了torch.softmax（函数式）却误写成nn.Softmax()（模块式），后者需实例化且默认dim=1但容易漏传参。
立即学习“Python免费学习笔记（深入）”；
- 推荐用
F.softmax(output, dim=1)，不是nn.Softmax(dim=1)(output)（虽等效但冗余） - 若分析“对真实标签的敏感度”，用
prob[0, true_label]而非预测类 - 梯度形状与
input一致，可直接做L2范数或取绝对值热力图
prob = F.softmax(output, dim=1) target_prob = prob[0, true_label] grad = torch.autograd.grad(target_prob, input)[0]
批量输入下慎用retain_graph=True，内存爆炸很常见
想对同一个input计算多个类别的敏感度（比如top-3类），需多次调用torch.autograd.grad。此时若不设retain_graph=True，第二次调用会报错Trying to backward through the graph a second time；但设了它，中间计算图不释放，batch size稍大（如>8）就OOM。
真正轻量的做法是：一次前向，拿到全部logits后，用torch.stack把各目标标量拼成向量，再用torch.autograd.grad的grad_outputs参数一次性求多梯度——避免重复前向和图驻留。
-
grad_outputs必须是和outputs同shape的tensor，值为1.0表示对该位置求导 - 例如对batch中每个样本的预测类求导：
grad_outputs = torch.zeros_like(output).scatter_(1, pred_classes.unsqueeze(1), 1.0) - 这样只跑1次forward + 1次backward，内存和时间都可控
pred_classes = output.argmax(dim=1) grad_outputs = torch.zeros_like(output).scatter_(1, pred_classes.unsqueeze(1), 1.0) grads = torch.autograd.grad(output, input, grad_outputs=grad_outputs, retain_graph=False)[0]
敏感度图可视化前务必归一化，原始梯度值域差异极大
梯度本身无固定范围，CNN第一层梯度常在±1e-3量级，而深层可能达±1e2；直接imshow(grad[0].permute(1,2,0))看到的几乎全黑。不归一化就可视化，等于没分析。
别用全局min-max（受异常值拖累），也别用torch.std（对稀疏梯度不鲁棒）。实际有效的是按通道独立归一化，再整体裁剪到[0,1]——尤其适合RGB图像输入。
- 对每个channel做
(g - g.mean()) / g.std()，再torch.clamp到[-2,2]，最后线性映射到[0,1] - 若想突出正向影响（输入增强→概率升），可用
torch.relu(grad)再归一化 - 保存时用
plt.imsave("saliency.png", heatmap, cmap="hot")，别用cv2.imwrite（默认BGR且不处理float）
grad = grad[0].permute(1, 2, 0) # CHW → HWC grad = (grad - grad.mean()) / (grad.std() + 1e-8) grad = torch.clamp(grad, -2, 2) heatmap = (grad - grad.min()) / (grad.max() - grad.min() + 1e-8)
敏感度分析真正的难点不在算梯度，而在解释梯度：同一张图在不同模型/不同类别上梯度模式可能完全相反，而归一化方式、目标选择、是否加噪声平滑，都会显著改变热力图形态。没有银弹，只有对照实验。
