特征交叉不是简单拼接，因直接相乘或字符串拼接易引入噪声或过拟合；有效交叉需匹配模型特性：树模型适合分箱后离散组合，线性模型需标准化再多项式扩展，深度学习常用嵌入内积；须预处理量纲、缺失值与高基数类别，并用PolynomialFeatures等可控方式生成，且必须通过验证集闭环评估效果。
特征交叉为什么不是简单拼接两个变量？
直接用 a * b 或 str(a) + '_' + str(b) 做交叉，大概率会引入噪声或过拟合，尤其当原始变量量纲差异大、稀疏或含缺失值时。真正起作用的交叉，必须和后续模型对齐：树模型受益于离散化后的组合特征，线性模型需要先标准化再构造多项式项，而深度学习中往往用嵌入后内积隐式建模交互。
- 连续变量做乘积前，建议先
StandardScaler或RobustScaler，避免大数值主导交叉项 - 类别变量交叉前，务必完成标签编码或独热展开（但注意高基数变量会导致维度爆炸）
- 缺失值不能留空参与交叉——
np.nan * 5得到nan，会污染整列，需提前用fillna()或专用标记（如'MISSING'）处理
用 sklearn.preprocessing.PolynomialFeatures 安全生成二阶交叉
这是最可控的显式交叉方式，支持连续/标准化后变量，且能自动跳过高次幂、控制交互阶数。关键陷阱在于默认包含截距项和纯平方项，常非所需。
- 设原始特征为
['age', 'income']，PolynomialFeatures(degree=2, interaction_only=True, include_bias=False)只生成age*income，不生成age²或常数项 - 输入必须是二维数组——传入
pd.DataFrame会报错Expected 2D array，需先.values或用ColumnTransformer封装 - 输出是稠密矩阵，若原始特征维数高（>100），
degree=2会产生 O(n²) 新特征，内存可能瞬间爆掉；此时应先用VarianceThreshold过滤低方差列
from sklearn.preprocessing import PolynomialFeatures import numpy as np X = np.array([[25, 50000], [35, 80000]]) poly = PolynomialFeatures(degree=2, interaction_only=True, include_bias=False) X_cross = poly.fit_transform(X) # 输出 [[25, 50000, 1250000], [35, 80000, 2800000]]
树模型中手动构造分箱后交叉更稳定
对 RandomForest 或 XGBoost，直接喂原始连续特征效果通常优于显式多项式交叉；但若想人工注入领域知识（例如“高收入+低年龄”是一类高风险客群），分箱后交叉更鲁棒。
- 用
pd.cut()或KBinsDiscretizer将连续变量转为有序类别，再用pd.Categorical确保顺序可被模型识别 - 交叉时用
df['age_bin'].astype(str) + '_' + df['income_bin'].astype(str)，而非数值相乘——避免把“低年龄高收入”和“高年龄低收入”映射到相近数值 - 新生成的交叉类别列，务必用
LabelEncoder或OneHotEncoder(drop='first')编码，否则树模型会误以为类别间有数值序关系
交叉特征是否提升效果？必须用验证集闭环验证
加了交叉特征后 CV 分数没变甚至下降，非常常见。这不是代码问题，而是交叉本身在放大噪声或与模型冗余。别依赖训练集上的 feature_importances_ 判断——它反映的是“当前特征集合下的相对重要性”，不是“该交叉项本身的贡献”。
立即学习“Python免费学习笔记（深入）”；
- 对比实验必须固定随机种子、模型参数、CV 折数，只变动是否加入交叉列
- 观察验证集上
mean_squared_error或roc_auc_score的变化，而非训练损失 - 如果交叉特征在某几折 CV 中重要性极高、其余折接近零，说明它在过拟合局部模式，应舍弃
真正难的不是构造交叉，是判断哪一组变量组合在特定数据分布和模型结构下，能稳定激活隐藏的非线性信号——这没有通用公式，只能靠带验证的快速试错。
