用 torch.norm 计算张量范数最稳妥，但必须明确指定 dim 和 keepdim，否则容易得到意外的标量结果或维度错乱。
直接说结论：用 torch.norm 计算张量范数最稳妥，但必须明确指定 dim 和 keepdim，否则容易得到意外的标量结果或维度错乱。
为什么 torch.norm 默认行为常让人困惑
很多人调用 torch.norm(x) 后发现返回一个标量，但实际想按行/列求范数。这是因为默认 dim=None 会把整个张量展平后计算全局 L2 范数 —— 这不是 bug，是设计如此，但和 NumPy 的 np.linalg.norm 行为不完全一致，容易误判。
-
dim=None（默认）→ 返回标量，等价于torch.sqrt(torch.sum(x**2)) -
dim=0→ 对第 0 维“压缩”，即每列独立算范数（形状从(m, n)变成(n,)） -
dim=1→ 对第 1 维“压缩”，即每行独立算范数（形状变成(m,)） - 若需保持维度（如后续要广播运算），务必加
keepdim=True，否则维度自动降维
torch.norm 的 p 参数怎么选才对
范数类型由 p 控制，但注意它不只支持整数：p=2 是默认 L2，p=1 是 L1（曼哈顿），p=float('inf') 是最大绝对值（L∞），p=-float('inf') 是最小绝对值 —— 这些都有效，但 p=0 不是“零范数”，而是非零元素个数（PyTorch 特有，且仅当 dim 明确时可用）。
-
p=2：最常用，数值稳定，对应欧氏距离 -
p=1：适合稀疏性约束，梯度恒为 ±1（无 vanishing 问题） -
p=float('inf')：用于梯度裁剪上限控制，比逐元素比较快 -
p=0：仅在dim指定时生效，返回非零元素计数，不是严格数学零范数
常见报错和踩坑点
报错往往不是函数不会用，而是张量 dtype 或 layout 不匹配。比如 torch.norm 对 torch.bfloat16 支持有限，某些 p 值下会报 RuntimeError: "norm_cuda" not implemented for 'BFloat16'；又或者传入了稀疏张量（torch.sparse_coo_tensor），而 torch.norm 默认不支持。
立即学习“Python免费学习笔记（深入）”；
- 遇到 dtype 报错：先转成
float32，如x.float().norm(p=2, dim=1) - 需要对稀疏张量算范数：得先用
.to_dense()，但小心 OOM - 想对 batch 中每个样本算 L2 范数却写了
dim=(1,2,3)：确保dim是 tuple 且索引合法，否则报IndexError - 在
torch.compile下使用时，避免动态dim（如dim=i），否则可能编译失败
一个实用的封装建议
如果频繁按行/列算 L2 范数，别每次都写 torch.norm(x, p=2, dim=1, keepdim=True)，容易漏 keepdim。可以简单封装：
def row_norm(x):
return torch.norm(x, p=2, dim=-1, keepdim=True)
def col_norm(x):
return torch.norm(x, p=2, dim=-2, keepdim=True)
用 -1、-2 而不是硬写 1、0，能兼容更多维度输入（如 (b, s, d) 中对 d 维归一化）。不过要注意：这种封装无法替代明确语义，调试时仍要回溯到原始 torch.norm 行为。
真正麻烦的不是语法，是当你在 loss 函数里嵌套了三次 torch.norm，又没设 keepdim，导致中间张量 shape 突然少了一维，最后 torch.matmul 报 size mismatch 却找不到源头 —— 那时候就得逐层打印 .shape，而不是怀疑函数本身。
