Scikit-learn特征选择非黑盒，需据模型类型、数据分布和目标选用：SelectKBest适用于线性假设下单变量筛选，RFE适配树模型或需考虑交互的场景，SelectFromModel依赖模型内置重要性且阈值设定关键。
Scikit-learn 提供的特征选择方法不是“自动挑出最优变量”的黑盒，而是按不同统计逻辑过滤或打分，选哪个取决于你的模型类型、数据分布和目标——比如 SelectKBest 适合线性假设下的单变量筛选，而 RFE 更适配树模型或需要考虑特征交互的场景。
用 SelectKBest 做单变量统计筛选
它对每个特征单独计算与目标变量的统计相关性（如 f_classif 用于分类，f_regression 用于回归），再按得分排序取 top-k。注意：它不考虑特征间关系，高分特征放进模型后可能因共线性反而拖累性能。
- 分类任务中误用
f_regression会报ValueError: Unknown label type: 'continuous'，务必核对 y 的 dtype -
k不建议设为固定值（如 10），应结合交叉验证观察下游模型 AUC/MAE 变化趋势来定 - 离散型目标变量必须是整数编码或 one-hot 后的类别标签，不能是字符串数组，否则
f_classif直接抛TypeError
用 RFECV 配合树模型做递归消除
RFECV 在每次迭代中训练模型、剔除最不重要特征，直到交叉验证得分不再提升。它隐式建模了特征组合效应，但代价是计算量大，尤其当特征数 > 50 且样本量小的时候容易过拟合筛选过程。
- 基模型必须支持
feature_importances_属性（如RandomForestClassifier）或coef_（如LogisticRegression），用SVC默认不支持，得加kernel='linear' -
cv=3在小数据集上不稳定，建议用StratifiedKFold(n_splits=5)保证每折类别比例一致 - 输出的
support_是布尔数组，别直接传给pd.DataFrame.loc，得先转成列名列表：df.columns[rfe.support_].tolist()
用 SelectFromModel 借助模型内置重要性
它直接调用训练好的模型（如 Lasso、ExtraTreesClassifier）的系数或重要性阈值做硬截断，速度快，但阈值设定很关键——设太严会漏掉协同作用强的弱信号特征，设太松又留了噪声。
立即学习“Python免费学习笔记（深入）”；
-
Lasso对数值特征需先标准化，否则alpha调参失效，StandardScaler必须在SelectFromModel外套一层 Pipeline - 树模型的
threshold默认是'median'，但实际常需下调到'mean'或具体数值（如0.01），建议画出重要性直方图辅助判断 - 该方法返回的
transform不会重排特征顺序，但原始列顺序丢失后，后续解释变量时容易搞混哪列对应哪个原始字段
特征选择结果高度依赖下游模型的假设前提，同一个 SelectKBest(f_classif) 结果喂给 XGBoost 可能不如喂给 LogisticRegression 稳定；更隐蔽的问题是，如果测试集分布偏移，筛选出的“重要”特征在新数据上可能完全失效——这点在上线前的稳定性验证里常被跳过。
