报错原因是张量形状不满足矩阵乘法要求,即左操作数最后一维不等于右操作数倒数第二维;需检查报错末尾的size()、区分matmul/mm/bmm用法,并用unsqueeze/reshape显式对齐维度。

PyTorch matmul 报错 RuntimeError: matmul: Input shapes do not match 怎么快速定位?
直接看报错末尾的张量形状——PyTorch 会明确打印两个操作数的 size(),比如 torch.Size([3, 4]) 和 torch.Size([5, 6])。只要不满足「左操作数最后一维 == 右操作数倒数第二维」,就必然失败。这不是广播问题,matmul 不自动广播维度。
常见误判点:
- 把
torch.mm(仅限 2D)和torch.matmul(支持 batch)混用,后者对 1D/2D/3D+ 行为不同 - 把输入当成了列向量,实际是行向量(比如
x.shape == (10,)而非(10, 1)) - 用了
.T但没注意它对 1D 张量无效(torch.tensor([1,2,3]).T还是(3,))
如何让两个张量在 matmul 前“对齐”形状?
核心原则:不硬改数据,只显式 reshape / unsqueeze / transpose。避免用 view(-1, N) 这类可能出错的写法。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 1D 向量左乘矩阵?先
x.unsqueeze(0)变成(1, N),再@ W - 1D 向量右乘矩阵?先
x.unsqueeze(1)变成(N, 1),再W @ x - batch 输入是
(B, N),权重是(M, N)?必须转置权重:x @ W.T或等价地torch.matmul(x, W.T) - 不确定维度顺序?用
torch.einsum('bn,mn->bm', x, W)更直白,且不依赖隐式规则
matmul、@、mm、bmm 该怎么选?
选错函数是形状错误的高发原因。它们对输入维度有硬性约束:
-
@和torch.matmul:行为一致,支持广播式 batch。例如(B, N, M) @ (B, M, P)→(B, N, P);但(B, N, M) @ (M, P)也合法(右操作数被广播) -
torch.mm:强制要求两个输入都是 2D,且不做任何广播,(m, k) @ (k, n)→(m, n)。传入 3D 张量直接报错 -
torch.bmm:专用于 batch 矩阵乘,要求两个输入都是 3D 且 batch size 相同:(b, n, m) @ (b, m, p)→(b, n, p)。比matmul更严格,也更安全(不会意外广播)
调试时怎么一眼看出哪一维“卡住”了?
别靠猜。在报错前加一行检查:
print(f"x shape: {x.shape}, y shape: {y.shape}")
然后手动验证:若 x 是 (..., a, b),y 是 (..., c, d),则必须满足 b == c(最后两维可乘),其余前缀维度要能广播(即相等或某一方为 1)。
特别容易忽略的是:batch 维度不匹配却没报错——因为 PyTorch 默认广播。比如 (1, 32, 64) @ (16, 64, 128) 实际执行的是 16 次乘法(1→16 广播),结果是 (16, 32, 128)。这常导致后续层 shape 意外变化,到 loss 计算时才暴露。


















