LabelEncoder不适合高基数类别特征，因其将类别强制映射为整数，引入虚假顺序关系，误导线性模型等；且高基数下整数跨度大，易致内存爆炸或参数失控。
为什么 LabelEncoder 不适合高基数类别特征
LabelEncoder 会把每个类别映射成一个整数，表面看节省了空间，但实际引入了人为的序关系。比如 LabelEncoder 把 ["New York", "Tokyo", "Paris", "Sydney"] 编成 [0, 1, 2, 3]，模型会误以为 Tokyo 比 New York “大”、Sydney 最“大”。对树模型可能影响小，但对线性模型、神经网络或距离敏感算法（如 KNN）会造成严重偏差。
更关键的是，高基数场景下（比如用户 ID、商品 SKU、URL），LabelEncoder 生成的整数跨度极大（上百万），后续若做 one-hot，内存直接爆掉；若直接喂给模型，又会让 embedding 层或全连接层参数量失控。
Target Encoding 是什么，以及它怎么解决分布偏移问题
Target Encoding 用目标变量的统计值（如均值）替代原始类别，本质是把类别“压缩”成一个有预测意义的浮点数。但它容易过拟合——尤其当某个类别的样本极少时，其 target 均值波动剧烈，噪声大。
必须做平滑（smoothing）和/或添加噪声（noise）来抑制过拟合：
立即学习“Python免费学习笔记（深入）”；
- 用全局均值加权融合局部均值：
smoothed = (local_sum + alpha * global_mean) / (local_count + alpha)，alpha通常取 5–30，值越大越偏向全局均值 - 训练集编码后，测试集必须用训练集计算出的映射表，不能重新统计；否则数据泄露
- 做 k 折交叉验证式编码（即每折用其余 k−1 折拟合 target 映射）能进一步规避过拟合，但实现略重
用 Category Encoders 库做高效 TargetEncoding
手动写平滑逻辑容易出错，category_encoders 提供了开箱即用且可配置的 TargetEncoder，支持分组统计、平滑、缺失值处理等。
示例用法：
from category_encoders import TargetEncoder import pandas as pd <h1>假设 df 是 DataFrame，'city' 是高基数列，'target' 是回归/二分类标签</h1><p>encoder = TargetEncoder( cols=['city'], smoothing=10.0, # 平滑强度 min_samples_leaf=20, # 少于该数量的类别将被合并到全局均值 handle_unknown='value', # 未知类别填全局均值 ) df_encoded = encoder.fit_transform(df, df['target'])
注意：fit_transform() 的第二个参数必须是目标变量，不能漏；如果目标是多分类，需先转成数值型（如用 LabelEncoder 编码 y，再传入）。
Hashing Encoder：当类别数远超内存或你根本不想存映射表时
Hashing Encoder 不保存任何映射字典，而是用哈希函数（如 MurmurHash3）把字符串直接打到固定长度向量（如 2^12 = 4096 维）中。它不关心语义，也不需要训练，天然适合流式场景或超大规模离线特征工程。
缺点也很明确：
- 哈希冲突不可避免，不同类别可能映射到同一维，造成信息混叠
- 无法解释单个维度含义，调试困难
- 输出是稀疏向量，若后续模型不支持稀疏输入（如某些 sklearn 分类器），得先用
scipy.sparse.csr_matrix.toarray()转稠密，代价高
用法示例：
from category_encoders import HashingEncoder <p>encoder = HashingEncoder(cols=['user_id'], n_components=2**12) df_hashed = encoder.fit_transform(df)
真正棘手的不是选哪种编码方式，而是如何在训练/推理阶段保证 target 统计值或 hash 参数完全一致——哪怕训练时用了 CV 平滑，上线时也得固化住那套平滑参数；hash 的 n_components 和随机 seed 一旦定下，就不能再变。
