OneHotEncoder一用就维度爆炸，因其严格按“每个类别一列”定义执行，输入1000个不同user_id即输出1000列；高基数字段如user_id、postal_code、未清洗email_domain等最易触发，判断依据为df['col'].nunique()/len(df)比值——>0.8时属ID类，需改用哈希或嵌入。
OneHotEncoder 为什么一用就维度爆炸？
不是它故意膨胀，而是它忠实执行了“每个类别一列”的数学定义。你喂给它一个有 1000 个不同值的 user_id 列，它就会输出 1000 列——每列对应一个 ID 是否出现。这跟数据量大小无关，只跟类别基数（cardinality）强相关。
哪些字段最容易触发维度爆炸？
别只盯着“城市”“省份”这种看起来合理的字段。真正危险的是那些表面普通、实则高基数的特征：
-
user_id、product_sku、order_id：千万级取值，编码后直接生成千万维稀疏矩阵 -
postal_code（美国 ZIP Code）：约42000种，单列撑爆内存 - 未清洗的
email_domain或url_path：含大量唯一值，等同于 ID 类特征 - 时间戳截断到“分钟”或“秒”级别：高频离散化后类别数暴涨
怎么快速判断某列会不会炸？
跑这一行就够了：df['col'].nunique() / len(df)。比值越接近 1.0，说明越接近“几乎每行都唯一”，必须拦住，不能直接进 OneHotEncoder：
- 比值 >
0.8：大概率是 ID 类，改用HashingVectorizer或嵌入 - 比值在
0.05–0.8：可考虑分箱（binning）、频次过滤（drop low-frequency categories） - 比值 0.05：安全区，
OneHotEncoder可正常用，但记得开sparse=True
开了 sparse=True 就万事大吉？
不。稀疏矩阵只是延迟崩溃，不是消除风险：
立即学习“Python免费学习笔记（深入）”；
- 下游模型如
LinearRegression或SVM内部可能强制转稠密，瞬间 OOM -
pd.DataFrame.sparse.to_dense()这类操作会直接解包，等于主动引爆 - 即使保持稀疏，100 万 × 100 万维矩阵的索引结构本身也吃内存
- 用
ColumnTransformer时，务必确认所有 transformer 输出兼容稀疏格式，否则 pipeline 会静默转稠密
维度爆炸从来不是配置问题，而是语义误判：把本该当 ID 处理的字段，当成普通分类变量去“翻译”。真正要做的，不是调参，是先问一句——这个字段，模型到底该学它的“身份”，还是它的“归属”？
