混合类型数据聚类需用Gower距离等分类型处理方法,避免独热编码导致的维度爆炸;KMeans不适用,应选层次聚类或DBSCAN(metric="precomputed")。

混合数据类型无法直接用 sklearn.metrics.euclidean_distances
欧氏距离、余弦相似度等默认只接受数值型矩阵,遇到字符串、布尔值、类别标签(如 "red"、True、"high")会直接报 ValueError: Expected 2D array, got 1D array instead 或更隐蔽的 TypeError: ufunc 'subtract' did not contain a loop with signature matching types。这不是数据形状问题,而是类型不兼容——numpy 无法对字符串做减法。
常见错误做法是暴力 pd.get_dummies() 全量独热编码:类别数多时(比如用户ID、地址文本)会导致维度爆炸,稀疏性高,距离失去意义;布尔字段被转成 0/1 后,和数值字段量纲差异巨大,未经标准化的距离计算结果不可信。
正确思路是分类型处理:
- 数值型字段:标准化(推荐
StandardScaler或RobustScaler,避免异常值干扰) - 有序类别(如
"low"/"medium"/"high"):映射为整数并归一化 - 无序类别(如
"cat"/"dog"/"bird"):用 Gower 距离或自定义匹配函数(相同为 0,不同为 1) - 二元字段(
bool或{0,1}):直接作为 0/1 使用,不额外编码
用 gower.gower_matrix 计算混合距离矩阵
Gower 距离天然支持混合类型:对每列单独归一化后加权平均,权重默认均等,可手动调整。它不依赖向量空间假设,比强行独热+欧氏更合理。
立即学习“Python免费学习笔记(深入)”;
安装与基础用法:
pip install gower
注意:gower 包输入必须是 pandas.DataFrame,且列类型需明确(数值列用 float 或 int,类别列用 object 或 category):
- 确保数值列没被误读为
object(检查df.dtypes,必要时用df[col] = pd.to_numeric(df[col])) - 类别列不要提前
get_dummies,保留原始字符串或category类型 - 缺失值会被自动跳过(按列计算时忽略该样本),但建议先用
SimpleImputer填充数值列、众数填充类别列
示例调用:
当现有的脚本或服务需要将作用域化的仓库工作委托给 Claude Code 并以编程方式消费结构化响应时,请使用 Claude Agent SDK for Python。
import gower<br>dist_matrix = gower.gower_matrix(df)
返回的是对称二维 numpy.ndarray,可直接喂给 scipy.cluster.hierarchy.linkage 或 sklearn.cluster.AgglomerativeClustering。
聚类时避开 KMeans 的陷阱
KMeans 强制要求欧氏空间 + 均值中心,对混合类型距离矩阵完全不适用——它内部会重算质心并迭代更新,而质心在混合空间里没有定义(比如“颜色”的均值是什么?)。强行用 fit(dist_matrix) 会报错或产生无意义结果。
可行方案只有两类:
-
层次聚类:用
scipy.cluster.hierarchy.linkage(dist_matrix, method="average"),再用fcluster截断,完全基于你提供的距离矩阵 -
DBSCAN:传入
metric="precomputed",例如DBSCAN(eps=0.3, metric="precomputed").fit(dist_matrix);注意eps值需根据dist_matrix的实际分布调整(看np.quantile(dist_matrix[np.triu_indices_from(dist_matrix)], 0.1)等)
别碰 MeanShift、SpectralClustering(虽支持 affinity="precomputed",但其 affinity 需满足正定性,Gower 距离不保证)。
自定义距离函数必须返回双精度二维数组
如果不用 gower,想手写混合距离逻辑(比如加权组合),注意 scipy.spatial.distance.pdist 和大多数聚类器要求函数签名是 def my_dist(a, b):,且必须返回标量 float。常见坑:
- 返回
np.float64而非np.float32(后者可能触发TypeError: A must be a complex matrix) - 函数内不能有 print 或日志——
pdist会高频调用,IO 拖慢百倍 - 避免用
for循环逐字段比较,改用向量化操作(如(a[cat_cols] != b[cat_cols]).sum()) - 最终距离矩阵必须是
np.ndarray,shape 为(n_samples, n_samples),对角线为 0,对称
调试时先用小数据(df.iloc[:10])验证距离矩阵是否对称、是否全非负、对角线是否为 0——这三个条件不满足,聚类必然失败。
混合类型聚类真正难的不是代码,是字段语义理解:哪些该归一化,哪些该用匹配,哪些该加权。跑通流程容易,让聚类结果有业务解释力,得反复对照原始数据看簇内一致性。

















