torchvision.ops.nms最稳妥,需输入float32型boxes[N,4](x1,y1,x2,y2)和scores[N],返回保留框索引;不满足格式会静默失败或报类型错误。

PyTorch自带的torchvision.ops.nms怎么用?
直接调用torchvision.ops.nms是最稳妥的选择,它底层是CUDA加速的,比手写Python循环快一个数量级,且和主流检测模型(如YOLO、Faster R-CNN)输出格式兼容。
输入必须是四元组:boxes(shape [N, 4],格式为[x1, y1, x2, y2])、scores(shape [N]),返回的是保留框的索引(LongTensor)。
- 务必确保
boxes是float32类型,scores也是float32;传入int64或float64会静默失败或报RuntimeError: expected scalar type Float but found Double -
boxes坐标必须满足x1 且<code>y1 ,否则结果不可靠——有些检测头(如RetinaNet)可能输出负偏移,需先做<code>torch.clamp截断 - iou_threshold参数通常设0.45~0.6;设太高会漏检,太低则冗余框多,不建议动态调整
为什么torchvision.ops.nms返回索引而不是框?
因为NMS只是后处理环节,上游模型输出的boxes和scores往往还关联着labels、mask logits等额外张量。返回索引让你能统一索引所有相关张量,避免错位。
常见错误是直接拿返回索引去切原始boxes却忘了同步切labels:
立即学习“Python免费学习笔记(深入)”;
keep = torchvision.ops.nms(boxes, scores, iou_threshold=0.5) final_boxes = boxes[keep] # ✅ final_labels = labels[keep] # ✅ 必须同步! final_scores = scores[keep] # ✅
漏掉labels[keep]会导致类别标签和框不匹配,在COCO eval时mAP暴跌。
自定义NMS时,CPU版torchvision.ops.batched_nms适合什么场景?
当你要对**多个类别的预测结果一起做NMS**(比如每类独立出框再跨类抑制),或者输入是batched数据([B, N, 4]),就该用batched_nms。
它比循环调用nms快,且自动按labels分组处理:
- 输入
boxes仍是[N, 4],但多了labels([N],每个框的类别ID) - 内部会对每个label值的子集分别跑NMS,再合并结果,等效于
torch.cat([nms(boxes[labels==i], scores[labels==i]) for i in labels.unique()]),但更快更稳 - 注意
labels必须是连续非负整数(如0,1,2),不能是字符串或负数,否则报IndexError: tensors used as indices must be long or byte tensors
训练时能否用NMS?推理时又要注意什么?
NMS是纯后处理操作,**绝不能放进nn.Module.forward参与反向传播**——它不可导,且会破坏梯度流。训练时一般用soft-NMS或IoU loss替代;只有在model.eval()后、输出解码阶段才调用。
推理时容易忽略两点:
- GPU上运行时,
boxes和scores必须在同一个device上,否则报Expected all tensors to be on the same device - 如果做了padding(比如batch inference时统一尺寸),记得先用
valid_mask过滤掉padding产生的假框,否则NMS会被干扰
边界情况比想象中多:小目标密集区域、旋转框、尺度差异极大的框共存时,标准NMS容易误删。这时候得换soft_nms或cluster_nms,但torchvision没内置,得自己实现或引入mmdet。


















