<p>最稳妥的余弦相似度计算是用 np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)),需确保向量维度对齐、处理零向量和NaN,并注意广播与性能优化。</p>

用 np.dot 和 np.linalg.norm 手动算最稳妥
余弦相似度本质就是两个向量的点积除以各自模长的乘积,NumPy 没有内置的 cosine_similarity 函数(那是 scikit-learn 的),直接调 np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) 最可控。
常见错误是忽略向量维度对齐:比如 a 是 (5,),b 是 (1, 5),np.dot 会报 ValueError: shapes (5,) and (1,5) not aligned。务必确保两者都是 1D 或都转成列向量再处理。
- 如果输入是二维数组(比如一批向量),先用
a.reshape(-1)或np.squeeze(a)降维 - 避免用
np.sqrt(np.sum(a ** 2))替代np.linalg.norm(a)——后者对浮点精度和 NaN 更鲁棒 - 当任一范数为 0(即零向量)时,结果会是
nan或inf,建议提前用if np.allclose(a, 0) or np.allclose(b, 0): return 0.0做兜底
批量计算多对向量?别硬套 np.dot,改用广播
想算 100 个向量两两之间的余弦相似度?直接嵌套循环调 np.dot 很慢;全用 sklearn.metrics.pairwise.cosine_similarity 又引入额外依赖。更轻量的做法是利用 NumPy 广播:
def cosine_similarity_matrix(X):
X_norm = X / np.linalg.norm(X, axis=1, keepdims=True)
return X_norm @ X_norm.T这里 X 是 (n_samples, n_features) 的二维数组,@ 是矩阵乘法。关键点在于先按行归一化(axis=1),再做内积——结果矩阵第 (i, j) 位就是第 i 和第 j 个向量的余弦值。
立即学习“Python免费学习笔记(深入)”;
-
np.linalg.norm(X, axis=1, keepdims=True)的keepdims=True必须加,否则除法广播失败 - 如果
X含缺失值,np.linalg.norm默认不跳过,得先用np.nan_to_num(X)或手动掩码 - 内存敏感场景下,大矩阵相乘可能爆显存,可改用分块计算或
scipy.spatial.distance.cdist(X, X, 'cosine')(返回的是 1 - 余弦值)
为什么不用 scipy.spatial.distance.cosine?
scipy.spatial.distance.cosine 确实能直接算单对向量的余弦距离(注意:是“距离”,不是“相似度”,结果要手动用 1 - cosine 转换),但它底层会检查输入是否为浮点类型、自动补零、还带调试逻辑,比纯 NumPy 实现慢约 2–3 倍。
- 它返回的是
1 - 余弦相似度,容易漏减,导致结果反着来 - 输入必须是 1D,传入二维数组会直接报
ValueError: A 2-D array must be passed - 在性能关键路径(如 embedding 相似度打分)中,少一层封装意味着更可预测的延迟
NaN 和 inf 怎么安全处理?
真实数据常含 NaN(比如未填充的 embedding),而 np.dot 和 np.linalg.norm 遇到 NaN 就直接污染整个结果——np.dot([1, np.nan], [1, 1]) 返回 nan,且不报错。
最简方案是预清洗:用 np.nan_to_num(x, nan=0.0) 把 NaN 当 0 处理,但要注意这会改变语义(零向量相似度恒为 0)。更合理的做法是用掩码只对有效维度计算:
x_valid = ~np.isnan(x)
y_valid = ~np.isnan(y)
valid_mask = x_valid & y_valid
if not np.any(valid_mask):
return 0.0
x_clean = x[valid_mask]
y_clean = y[valid_mask]- 别依赖
np.isfinite代替~np.isnan,因为inf也是finite==False,但余弦计算中inf通常该被剔除 - 如果向量长度差异大(比如部分字段缺失),用上述掩码方式比简单插值更符合原始意图
- 一旦用了掩码,记得同步检查范数是否为 0,避免除零
实际写的时候,多数情况就三行:归一化 → 点积 → 处理边界。复杂点永远在数据质量上,不在公式本身。


















